CN116543381A - 单目三维目标检测后处理方法、装置和电子设备 - Google Patents

Abstract

本公开提出一种单目三维目标检测后处理方法、装置和电子设备，该方法包括：获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值，根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，由此，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。

Description

单目三维目标检测后处理方法、装置和电子设备

技术领域

本公开涉及图像识别技术领域，具体涉及一种单目三维目标检测后处理方法、装置和电子设备。

背景技术

目标检测的任务是找出图像或视频中的感兴趣目标，同时实现输出检测目标的位置和类别，这是机器视觉领域的核心问题之一。随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。基于神经网络的检测算法主要集中在两个方向，两阶段的算法和一阶段的算法，尽管二者在生成检测框的步骤上有所区分，但是二者都需要对最终生成的候选框做进一步的处理，从而筛除低质量的候选框，保留高质量的候选框作为目标检测框输出，但是过于复杂的后处理方法将制约模型在硬件上的性能，不利于实际应用。

相关技术中，在筛除低质量的候选框时，可能会产生较大的计算开销，影响算法的实时性，且可能存在冗余的检测框，无法保证目标检测框的准确性。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的目的在于提出一种单目三维目标检测后处理方法、装置、电子设备和存储介质，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。

本公开第一方面实施例提出的单目三维目标检测后处理方法，包括：

获取候选检测框的检测输出信息和相机内参，其中，所述检测输出信息包括：与所述候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度；

根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框；

根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度：

根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值；

根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框。

本公开第一方面实施例提出的单目三维目标检测后处理方法，通过获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值，根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，由此，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。

本公开第二方面实施例提出的单目三维目标检测后处理装置，包括：

第一获取模块，用于获取候选检测框的检测输出信息和相机内参，其中，所述检测输出信息包括：与所述候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度；

生成模块，用于根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框；

第一确定模块，用于根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度；

第二确定模块，用于根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值；

第三确定模块，用于根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框。

本公开第二方面实施例提出的单目三维目标检测后处理装置，通过获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值，根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，由此，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。

本公开第三方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本公开第一方面实施例提出的单目三维目标检测后处理方法。

本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的单目三维目标检测后处理方法。

本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的单目三维目标检测后处理方法。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本公开一实施例提出的单目三维目标检测后处理方法的流程示意图；

图2是本公开另一实施例提出的单目三维目标检测后处理方法的流程示意图：

图3是本公开另一实施例提出的单目三维目标检测后处理方法的流程示意图；

图4是本公开一实施例提出的单目三维目标检测后处理装置的结构示意图；

图5是本公开另一实施例提出的单目三维目标检测后处理装置的结构示意图；

图6示出了适于用来实现本公开实施方式的示例性电子设备的框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本公开一实施例提出的单目三维目标检测后处理方法的流程示意图。

其中，需要说明的是，本实施例的单目三维目标检测后处理方法的执行主体为单目三维目标检测后处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等，如终端可为手机、掌上电脑等。

如图1所示，该单目三维目标检测后处理方法，包括：

S101：获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度。

其中，检测框，是指目标检测过程中所识别得到的包含待识别物体的框。而候选检测框，则是指可能被作为目标检测框的检测框。

其中，检测输出信息，是指目标检测模型在执行目标检测流程后所输出的与候选检测框相关的信息。

其中，相机内参，是指表征成像平面与像素平面之间转换关系的参数。

其中，类别置信度，是指检测框所指示对象类别的可靠程度。例如，类别置信度可以被用于指示检测框对应待检测对象是车辆的概率为0.8。而候选类别置信度，是指候选检测框对应的类别置信度。

其中，像素中心坐标，是指候选检测框的中心点在像素坐标系下的坐标。

其中，深度信息，可以被用于指示场景中各点像素到相机成像平面的垂直距离。

其中，尺寸信息，例如可以是三维检测框对应的长、宽、高等数据。

其中，旋转角度，可以是指候选检测框对应待检测对象在水平面上的偏转角度。

本公开实施例中，在获取候选检测框的检测输出信息和相机内参时，可以是基于单目3D检测模型处理待检测图像，以得到检测输出信息，获取待检测图像对应的相机参数，以确定相机内参，对此不做限制。

本公开实施例中，当获取候选检测框的检测输出信息和相机内参时，可以为后续的后处理过程提供可靠的数据支持。

S102：根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框。

其中，包络框，是指包含目标物体且平行于x轴和y轴的矩形。而二维包络框，则是指在二维场景中与上述候选检测框对应的包络框。

本公开实施例中，在根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框时，可以是将相机内参、像素中心坐标、深度信息和尺寸信息输入至预训练的机器学习模型中，以得到与候选检测框对应的二维包络框，或者，还可以是根据工程学的方法，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，对此不做限制。

S103：根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度。

其中，重叠度，可以是指两个检测框的交集与并集之间的比值。三维重叠度，是指候选检测框在三维空间中的重叠度。

可以理解的是，在目标检测过程中，针对同一待检测对象可能会产生多个候选检测框，且同一检测对象所对象的候选检测框之间可能存在较高的重合面积，而三维重叠度，可以准确指示不同候选检测框之间的重叠信息，由此，本公开实施例中，当根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，可以为后续筛除冗余的候选检测框提供可靠的执行依据。

S104：根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值。

其中，候选质量值，可以被用于指示对应候选检测框的可靠程度。

本公开实施例中，当根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值时，可以在确定候选质量值过程中充分考量候选检测框多个维度的相关信息，从而有效提升所得候选质量值的指示准确性。

S105：根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框。

其中，目标检测框，是指基于候选质量值和三维重叠度所得到的被用于指示待检测对象的框。

上述在根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值之后，可以根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，即实现低质量的、冗余的候选检测框筛选，保留少数高质量的候选检测框输出。

本实施例中，通过获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值，根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，由此，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。

图2是本公开另一实施例提出的单目三维目标检测后处理方法的流程示意图。

如图2所示，该单目三维目标检测后处理方法，包括：

S201：获取单目三维目标检测模型所输出的多个参考检测框。

其中，单目三维目标检测模型，是指被用于执行单目三维目标检测任务的神经网络模型。单目，是指单阶段目标检测。

其中，参考检测框，是指基于单目三维目标检测模型进行三维目标检测所得到的检测框。

S202：确定与参考检测框对应的参考质量值。

其中，参考质量值，是指与参考检测框对应的质量值。

可选的，一些实施例中，在确定与参考检测框对应的参考质量值时，可以是确定参考检测框的参考中心坐标和参考类别置信度，确定参考检测框对应待检测对象的第二中心坐标，根据参考中心坐标和第二中心坐标，确定参考检测框的参考中心置信度，根据参考类别置信度和参考中心置信度，确定参考质量值，由此，可以有效结合参考检测框的参考类别置信度和参考中心置信度，以有效提升所得参考质量值的可靠性。

其中，参考中心坐标，是指参考检测框对应的像素中心坐标。参考类别置信度，则是指参考检测框对应的类别置信度。

其中，第二中心坐标，是指参考检测框对应待检测对象的中心点在像素坐标系下的坐标。

S203：根据参考质量值，从多个参考检测框中确定候选检测框。

本公开实施例中，在根据参考质量值，从多个参考检测框中确定候选检测框时，可以是预先设定待获取数量(如1000个)，而后根据参考质量值，从多个参考检测框中获取待获取数量的参考检测框作为上述候选检测框。

也即是说，本公开实施例中，可以获取单目三维目标检测模型所输出的多个参考检测框，确定与参考检测框对应的参考质量值，根据参考质量值，从多个参考检测框中确定候选检测框，由此，可以基于参考质量值实现对多个参考检测框的初步筛选，以保证所得候选检测框的实用性，能够有效提升单目三维目标检测后处理效率。

S204：获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度。

S204的描述说明可以具体参见上述实施例，在此不再赘述。

S205：根据相机内参、像素中心坐标和深度信息，确定候选检测框的三维中心坐标。

其中，三维中心坐标，是指候选检测框的中心点在三维坐标系下的坐标。

S206：根据三维中心坐标和尺寸信息，确定与候选检测框对应的三维顶点坐标。

其中，三维顶点坐标，是指候选检测框在三维空间中对应8个顶点的坐标。

上述在获取候选检测框的检测输出信息和相机内参之后，可以根据相机内参、像素中心坐标和深度信息，确定候选检测框的三维中心坐标，根据三维中心坐标和尺寸信息，确定与候选检测框对应的三维顶点坐标，从而为后续生成二维包络框提供可靠的参考信息。

S207：根据相机内参，确定三维顶点坐标在目标像素坐标系中的最小包络矩形作为二维包络框。

其中，目标像素坐标系，是指被用于获取二维包络框的像素坐标系。

本公开实施例中，目标像素坐标系例如可以是基于前向视角的像素坐标系。

也即是说，本公开实施例在获取候选检测框的检测输出信息和相机内参之后，可以根据相机内参、像素中心坐标和深度信息，确定候选检测框的三维中心坐标，根据三维中心坐标和尺寸信息，确定与候选检测框对应的三维顶点坐标，根据相机内参，确定三维顶点坐标在目标像素坐标系中的最小包络矩形作为二维包络框，由此，可以基于候选检测框对应二维数据与三维数据的互相转化，有效提升所得二维包络框的准确性和实用性。

S208：根据二维包络框，确定多个候选检测框之间的二维重叠度。

其中，二维重叠度，是指不同候选检测框的二维包络框之间的重叠度。

举例而言，二维包络框A与二维包络框B的重合面积为80，二维包络框A与二维包络框B的面积和值为180，则二维包络框A与二维包络框B之间的二维重叠度为：80/(108-80)＝0.8。

S209：根据深度信息，确定多个候选检测框之间的深度相似值。

其中，深度相似值，是指不同候选检测框的深度信息之间的相似值。

举例而言，本公开实施例中可以获取候选检测框对应中心点的深度值，而后将不同候选检测框对应中心深度值之间的比值作为上述深度相似值。

S210：根据旋转角度，确定多个候选检测框之间的角度相似值。

其中，角度相似值，是指多个候选检测框之间的旋转角度之间的相似值。

举例而言，本公开实施例中，在根据旋转角度，确定多个候选检测框之间的角度相似值时，可以确定多个候选检测框的旋转角度之间的差值，并将该差值作为角度相似值。

S211：根据二维重叠度、深度相似值和角度相似值，确定三维重叠度。

举例而言，本公开实施例中，在根据二维重叠度、深度相似值和角度相似值，确定三维重叠度时，可以确定二维重叠度、深度相似值和角度相似值的乘积作为上述三维重叠度。

也即是说，本公开实施例在根据相机内参，确定三维顶点坐标在目标像素坐标系中的最小包络矩形作为二维包络框之后，可以根据二维包络框，确定多个候选检测框之间的二维重叠度，根据深度信息，确定多个候选检测框之间的深度相似值，根据旋转角度，确定多个候选检测框之间的角度相似值，根据二维重叠度、深度相似值和角度相似值，确定三维重叠度，由此，可以结合二维重叠度、深度相似值和角度相似值有效提升所得三维重叠度的准确性。

S212：根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值。

S213：根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框。

S212和S213的描述说明可以具体参见上述实施例，在此不再赘述。

本实施例中，通过根据相机内参、像素中心坐标和深度信息，确定候选检测框的三维中心坐标，根据三维中心坐标和尺寸信息，确定与候选检测框对应的三维顶点坐标，根据相机内参，确定三维顶点坐标在目标像素坐标系中的最小包络矩形作为二维包络框，由此，可以基于候选检测框对应二维数据与三维数据的互相转化，有效提升所得二维包络框的准确性和实用性。通过根据二维包络框，确定多个候选检测框之间的二维重叠度，根据深度信息，确定多个候选检测框之间的深度相似值，根据旋转角度，确定多个候选检测框之间的角度相似值，根据二维重叠度、深度相似值和角度相似值，确定三维重叠度，由此，可以结合二维重叠度、深度相似值和角度相似值有效提升所得三维重叠度的准确性。通过获取单目三维目标检测模型所输出的多个参考检测框，确定与参考检测框对应的参考质量值，根据参考质量值，从多个参考检测框中确定候选检测框，由此，可以基于参考质量值实现对多个参考检测框的初步筛选，以保证所得候选检测框的实用性，能够有效提升单目三维目标检测后处理效率。通过确定参考检测框的参考中心坐标和参考类别置信度，确定参考检测框对应待检测对象的第二中心坐标，根据参考中心坐标和第二中心坐标，确定参考检测框的参考中心置信度，根据参考类别置信度和参考中心置信度，确定参考质量值，由此，可以有效结合参考检测框的参考类别置信度和参考中心置信度，以有效提升所得参考质量值的可靠性。

图3是本公开另一实施例提出的单目三维目标检测后处理方法的流程示意图。

如图3所示，该单目三维目标检测后处理方法，包括：

S301：获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度。

S302：根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框。

S303：根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度。

S301一S303的描述说明可以具体参见上述实施例，在此不再赘述。

S304：确定候选检测框对应待检测对象的第一中心坐标。

其中，待检测对象，是指目标检测过程中待进行检测的对象。

其中，第一中心坐标，是指是指候选检测框对应待检测对象的中心点在像素坐标系下的坐标。

S305：根据像素中心坐标和第一中心坐标，确定候选检测框的候选中心置信度。

其中，候选中心置信度，是指候选检测框对应的中心置信度。

S306：根据候选类别置信度和候选中心置信度，确定候选质量值。

本公开实施例中，在根据候选类别置信度和候选中心置信度，确定候选质量值时，可以是将候选类别置信度和候选中心置信度的乘积作为上述候选质量值，或者，也可以是确定候选类别置信度和候选中心置信度的权重系数，而后根据所得权重系数确定候选类别置信度和候选中心置信度的和值作为候选质量值，对此不做限制。

也即是说，本公开实施例中在根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度之后，可以确定候选检测框对应待检测对象的第一中心坐标，根据像素中心坐标和第一中心坐标，确定候选检测框的候选中心置信度，根据候选类别置信度和候选中心置信度，确定候选质量值，由此，可以为单目三维目标检测后处理过程提供可靠的参考信息，保证所得目标检测框的准确性。

S307：确定多个候选检测框的分类信息。

其中，分类信息，可以是指多个候选检测框所指示对象类别的相关信息。

举例而言，在车辆行驶场景中，多个候选检测框可以被用于指示车辆、行人、障碍物等多个不同类别的对象。

S308：根据分类信息对多个候选检测框进行聚类处理，以得到多个检测框集合，其中，检测框集合中包括至少一个候选检测框。

其中，检测框集合，可以是指示同一类型待识别对象的候选检测框的集合。

S309：根据候选质量值和三维重叠度，确定与检测框集合对应的目标检测框。

本公开实施例中，在根据候选质量值和三维重叠度，确定与检测框集合对应的目标检测框时，可以是采用第三方目标检测框确定装置处理上述候选质量值和三维重叠度，以确定目标检测框，或者，还可以采用其他任意可能的方法根据候选质量值和三维重叠度，确定与检测框集合对应的目标检测框，如工程学或数学的方法，对此不做限制。

可选的，一些实施例中，在根据候选质量值和三维重叠度，确定与检测框集合对应的目标检测框时，可以是获取预设重叠度阈值，响应于检测框集合中存在候选检测框，根据候选质量值，将检测框集合中值最大候选质量值所对应的候选检测框更新为目标检测框，根据三维重叠度和预设重叠度阈值，从检测框集合中确定与目标检测框对应的待筛除检测框，从检测框集合中删除待筛除检测框，由此，可以实现针对多个候选检测框的非极大值抑制，从而有效降低该单目三维目标检测后处理结果中的冗余信息，有效提升所得目标检测框的检测准确性。

其中，预设重叠度阈值，是指预先针对重叠度所配置的门限值。

本公开实施例中可以针对不同的待检测对象配置不同的重叠度阈值，或者，还可以针对所有的待检测对象配置统一的重叠度阈值，对此不做限制。

其中，待筛除检测框，是指检测框集合中待删除的候选检测框。

举例而言，本公开实施例中在根据候选质量值和三维重叠度，确定与检测框集合对应的目标检测框时，可以包括如下步骤：

1.在检测框集合中根据候选质量值对候选检测框进行排序；

2.选择候选质量值最高的候选检测框添加到最终输出列表中，将其从检测框集合中删除；

3.确定所有候选检测框的面积；

4.确定候选质量值最高的候选检测框与其它候选检测框框的三维重叠度；

5.删除三维重叠度大于预设重叠度阈值的候选检测框框；

6.重复上述过程，直至边界框列表为空。

也即是说，本公开实施例中在根据候选类别置信度和候选中心置信度，确定候选质量值之后，可以确定多个候选检测框的分类信息，根据分类信息对多个候选检测框进行聚类处理，以得到多个检测框集合，其中，检测框集合中包括至少一个候选检测框，根据候选质量值和三维重叠度，确定与检测框集合对应的目标检测框，由此，可以有效提升目标检测框确定过程的条理性，能够保证所得目标检测框对于不同类别待检测对象的检测效果。

本实施例中，通过确定候选检测框对应待检测对象的第一中心坐标，根据像素中心坐标和第一中心坐标，确定候选检测框的候选中心置信度，根据候选类别置信度和候选中心置信度，确定候选质量值，由此，可以为单目三维目标检测后处理过程提供可靠的参考信息，保证所得目标检测框的准确性。通过确定多个候选检测框的分类信息，根据分类信息对多个候选检测框进行聚类处理，以得到多个检测框集合，其中，检测框集合中包括至少一个候选检测框，根据候选质量值和三维重叠度，确定与检测框集合对应的目标检测框，由此，可以有效提升目标检测框确定过程的条理性，能够保证所得目标检测框对于不同类别待检测对象的检测效果。通过获取预设重叠度阈值，响应于检测框集合中存在候选检测框，根据候选质量值，将检测框集合中值最大候选质量值所对应的候选检测框更新为目标检测框，根据三维重叠度和预设重叠度阈值，从检测框集合中确定与目标检测框对应的待筛除检测框，从检测框集合中删除待筛除检测框，由此，可以实现针对多个候选检测框的非极大值抑制，从而有效降低该单目三维目标检测后处理结果中的冗余信息，有效提升所得目标检测框的检测准确性。

举例而言，本公开实施例所提出的单目三维目标检测后处理方法可以包括如下步骤：

1.首先，对于数量较多的3D候选检测框根据其质量取T0p K个保留，这里3D候选检测框的质量不仅由其类别置信度决定，同时，根据每个点到目标中心的距离远近，进一步表征3D候选检测框的质量，最终，检测框的质量由类别置信度和中心置信度共同决定，这里K取1000，保证远远大于实际的目标数量；

2.单目3D检测模型输出的是检测框在图像上的中心坐标、深度、模型预测的框的大小，旋转角度等信息，为了得到3D检测框，需要根据相机的内参，结合像素坐标系下的中心(x，y)和深度depth，得到检测框在相机坐标系下的实际3D中心(x，y，z)；

3.根据上述得到的中心点坐标和模型预测的框的大小，计算得到8个角点的三维坐标，通过相机内参映射回前向视角的像素坐标系中，求解8个角点在像素坐标系下的最小包络，作为后续计算重叠度(Intersection over Union，IoU)的依据；

4.计算2D包络框之间的IoU作为衡量3D候选框重叠度的依据之一，同时，计算旋转角度之间的相似度，计算检测框深度之间的相似度，三者共同决定3D候选框之间的重叠度；

5.将候选的3D检测按照质量分数从高到低排列，依据上述求得的3D候选框之间的重叠度，利用极大值抑制算法，将低质量的、冗余的候选框筛选，保留少数高质量的候选框输出，高效地实现单目3D检测任务。

图4是本公开一实施例提出的单目三维目标检测后处理装置的结构示意图。

如图4所示，该单目三维目标检测后处理装置40，包括：

第一获取模块401，用于获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度；

生成模块402，用于根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框；

第一确定模块403，用于根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度；

第二确定模块404，用于根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值；

第三确定模块405，用于根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框。

在本公开的一些实施例中，如图5所示，图5是本公开另一实施例提出的单目三维目标检测后处理装置的结构示意图，其中，生成模块402，具体用于：

根据相机内参、像素中心坐标和深度信息，确定候选检测框的三维中心坐标；

根据三维中心坐标和尺寸信息，确定与候选检测框对应的三维顶点坐标；

根据相机内参，确定三维顶点坐标在目标像素坐标系中的最小包络矩形作为二维包络框。

在本公开的一些实施例中，第一确定模块403，具体用于：

根据二维包络框，确定多个候选检测框之间的二维重叠度；

根据深度信息，确定多个候选检测框之间的深度相似值；

根据旋转角度，确定多个候选检测框之间的角度相似值；

根据二维重叠度、深度相似值和角度相似值，确定三维重叠度。

在本公开的一些实施例中，第二确定模块404，具体用于：

确定候选检测框对应待检测对象的第一中心坐标；

根据像素中心坐标和第一中心坐标，确定候选检测框的候选中心置信度；

根据候选类别置信度和候选中心置信度，确定候选质量值。

在本公开的一些实施例中，第三确定模块405，具体用于：

确定多个候选检测框的分类信息；

根据分类信息对多个候选检测框进行聚类处理，以得到多个检测框集合，其中，检测框集合中包括至少一个候选检测框；

根据候选质量值和三维重叠度，确定与检测框集合对应的目标检测框。

在本公开的一些实施例中，第三确定模块405，还用于：

获取预设重叠度阈值；

响应于检测框集合中存在候选检测框，根据候选质量值，将检测框集合中值最大候选质量值所对应的候选检测框更新为目标检测框；

根据三维重叠度和预设重叠度阈值，从检测框集合中确定与目标检测框对应的待筛除检测框；

从检测框集合中删除待筛除检测框。

在本公开的一些实施例中，还包括：

第二获取模块406，用于获取单目三维目标检测模型所输出的多个参考检测框；

第四确定模块407，用于确定与参考检测框对应的参考质量值；

第五确定模块408，根据参考质量值，从多个参考检测框中确定候选检测框。

在本公开的一些实施例中，第四确定模块407，具体用于：

确定参考检测框的参考中心坐标和参考类别置信度；

确定参考检测框对应待检测对象的第二中心坐标；

根据参考中心坐标和第二中心坐标，确定参考检测框的参考中心置信度；

根据参考类别置信度和参考中心置信度，确定参考质量值。

需要说明的是，前述对单目三维目标检测后处理方法的解释说明也适用于本实施例的单目三维目标检测后处理装置，此处不再赘述。

本实施例中，通过获取候选检测框的检测输出信息和相机内参，其中，检测输出信息包括：与候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度，根据相机内参、像素中心坐标、深度信息和尺寸信息，生成与候选检测框对应的二维包络框，根据二维包络框、深度信息和旋转角度，确定多个候选检测框之间的三维重叠度，根据候选类别置信度和像素中心坐标，确定与候选检测框对应的候选质量值，根据候选质量值和三维重叠度，从多个候选检测框中确定目标检测框，由此，可以实现后处理计算过程的解耦，以减少计算开销，有效提升所得目标检测框的准确性和实时性。

图6示出了适于用来实现本公开实施方式的示例性电子设备的框图。图6显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。

尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得人体能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其他模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的单目三维目标检测后处理方法。

为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的单目三维目标检测后处理方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的单目三维目标检测后处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定是指相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种单目三维目标检测后处理方法，其特征在于，包括：

获取候选检测框的检测输出信息和相机内参，其中，所述检测输出信息包括：与所述候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度；

根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框；

根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度；

根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值；

根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框。

2.如权利要求1所述的方法，其特征在于，所述根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框，包括：

根据所述相机内参、所述像素中心坐标和所述深度信息，确定所述候选检测框的三维中心坐标；

根据所述三维中心坐标和所述尺寸信息，确定与所述候选检测框对应的三维顶点坐标；

根据所述相机内参，确定所述三维顶点坐标在目标像素坐标系中的最小包络矩形作为所述二维包络框。

3.如权利要求1所述的方法，其特征在于，所述根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度，包括：

根据所述二维包络框，确定多个所述候选检测框之间的二维重叠度；

根据所述深度信息，确定多个所述候选检测框之间的深度相似值；

根据所述旋转角度，确定多个所述候选检测框之间的角度相似值；

根据所述二维重叠度、所述深度相似值和所述角度相似值，确定所述三维重叠度。

4.如权利要求1所述的方法，其特征在于，所述根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值，包括：

确定所述候选检测框对应待检测对象的第一中心坐标；

根据所述像素中心坐标和所述第一中心坐标，确定所述候选检测框的候选中心置信度；

根据所述候选类别置信度和所述候选中心置信度，确定所述候选质量值。

5.如权利要求1所述的方法，其特征在于，所述根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框，包括：

确定多个所述候选检测框的分类信息；

根据所述分类信息对多个所述候选检测框进行聚类处理，以得到多个检测框集合，其中，所述检测框集合中包括至少一个所述候选检测框；

根据所述候选质量值和所述三维重叠度，确定与所述检测框集合对应的所述目标检测框。

6.如权利要求5所述的方法，其特征在于，所述根据所述候选质量值和所述三维重叠度，确定与所述检测框集合对应的所述目标检测框，包括：

获取预设重叠度阈值；

响应于所述检测框集合中存在所述候选检测框，根据所述候选质量值，将所述检测框集合中值最大候选质量值所对应的所述候选检测框更新为所述目标检测框；

根据所述三维重叠度和所述预设重叠度阈值，从所述检测框集合中确定与所述目标检测框对应的待筛除检测框；

从所述检测框集合中删除所述待筛除检测框。

7.如权利要求1所述的方法，其特征在于，还包括：

获取单目三维目标检测模型所输出的多个参考检测框；

确定与所述参考检测框对应的参考质量值；

根据所述参考质量值，从所述多个参考检测框中确定所述候选检测框。

8.如权利要求7所述的方法，其特征在于，所述确定与所述参考检测框对应的参考质量值，包括：

确定所述参考检测框的参考中心坐标和参考类别置信度；

确定所述参考检测框对应待检测对象的第二中心坐标；

根据所述参考中心坐标和所述第二中心坐标，确定所述参考检测框的参考中心置信度；

根据所述参考类别置信度和所述参考中心置信度，确定所述参考质量值。

9.一种单目三维目标检测后处理装置，其特征在于，包括：

第一获取模块，用于获取候选检测框的检测输出信息和相机内参，其中，所述检测输出信息包括：与所述候选检测框对应的候选类别置信度、像素中心坐标、深度信息、尺寸信息，以及旋转角度；

生成模块，用于根据所述相机内参、所述像素中心坐标、所述深度信息和所述尺寸信息，生成与所述候选检测框对应的二维包络框；

第一确定模块，用于根据所述二维包络框、所述深度信息和所述旋转角度，确定多个所述候选检测框之间的三维重叠度；

第二确定模块，用于根据所述候选类别置信度和所述像素中心坐标，确定与所述候选检测框对应的候选质量值；

第三确定模块，用于根据所述候选质量值和所述三维重叠度，从多个所述候选检测框中确定目标检测框。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

12.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述方法的步骤。