CN118037802A - 目标深度估计方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种目标深度估计方法、装置及电子设备，其中，目标深度估计方法包括：获取自车采集的相机图像以及相机图像的二维目标检测结果，二维目标检测结果包括二维目标检测框的位置信息；获取相机图像对应区域的车道线点的三维位置信息；将相机图像对应区域的车道线点的三维位置信息投影至相机图像中，得到车道线点的投影结果；根据二维目标检测结果和车道线点的投影结果估计二维目标的深度信息。本申请利用车道线点的三维位置来对二维目标的深度信息进行估计，由于车道线点的三维位置精度是可靠的，由此保证了深度估计结果的准确性，且由于车道线点的三维位置具有纵向高度信息，使得深度信息的估计不受地面水平的限制，提高了可应用性。

Description

目标深度估计方法、装置及电子设备

技术领域

本申请涉及目标检测技术领域，尤其涉及一种目标深度估计方法、装置及电子设备。

背景技术

相机图像可以提供颜色信息，从中提取丰富的语义特征，而激光雷达擅长3D定位，能够提供丰富的三维结构信息，因此很多工作已经能够将相机和激光雷达信息进行融合来提升三维目标检测的精度。

后融合是将图像得到的目标的二维检测结果和激光雷达得到的三维检测结果进行融合的方法。对于后融合中图像二维目标和激光雷达三维目标的匹配过程，目前方案是将激光雷达的三维检测框通过激光雷达到相机的坐标转换，转换到相机坐标系，再经过相机的内参，转换到像素坐标系，然后计算两个框的交并比，从而判断是否是同一个目标，再进行后续的类型或其他的融合更新操作。

但激光雷达和相机的安装位置不在同一个位置，这就会存在视差，并且因为图像的二维检测框没有深度信息，因此激光雷达三维目标投影后无法区分出对应的是前景目标还是背景目标。由于以上原因，这种激光雷达三维目标投影到图像上进行目标匹配的方法在一定情况下存在误匹配的情况，因此需要估计出图像二维检测目标的深度信息，来区分前后背景，从而避免误匹配。

另外，在前、中融合检测过程中，也有图像二维目标深度估计的需求。目前的中融合方案是，先对图像进行二维检测目标，然后将激光点云投影到图像上，得到每个二维检测框对应的视锥中的所有点云，通过对点云回归得到目标的三维位置和姿态，通过二维检测得到目标类别。

但是在这个过程中，图像检测框往往比真实目标大，视锥中的点云并不一定全属于对应目标，可能是环境、前景目标或背景目标。针对这一问题，可以对图像二维检测框中的像素进行图像分割处理，从而得到更准确的点云和像素的匹配，或者可以估计出图像二维检测框的深度信息，有了目标的三维位置之后，就可以对视锥中的点云进行筛选，减少了错误检测的概率。

针对上述场景对二维目标的深度信息进行估计的需求，相关技术中提出了一些二维目标的深度估计方法，一种是地平模型方案，即在地面是水平的前提下，将距离自车固定距离的线均匀地绘制在图像上，对于在地面上的二维目标，可以通过二维检测框去查找在刻度板的位置，从而得到深度信息。然而，这种方案需要受到地面水平的前提限制，应用受限。

还有一种是三角测距方案，基于连续时间上的二维检测框信息，即时间域上的关联信息，将移动的车辆中同一个摄像头在时域上检测到的两个目标位置作为基线，构成双目结构，采用三角测距的方法计算每个目标的深度。然而，这种方案的准确性不高。

发明内容

本申请实施例提供了一种目标深度估计方法、装置及电子设备，以提高目标深度估计的准确性和可应用性。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种目标深度估计方法，其中，所述目标深度估计方法包括：

获取自车采集的相机图像以及相机图像的二维目标检测结果，所述二维目标检测结果包括二维目标检测框的位置信息；

获取所述相机图像对应区域的车道线点的三维位置信息；

将所述相机图像对应区域的车道线点的三维位置信息投影至所述相机图像中，得到车道线点的投影结果；

根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息。

可选地，所述获取所述相机图像对应区域的车道线点的三维位置信息包括：

利用预设车道线点采集策略采集车道线点的三维位置信息；

根据自车定位信息和采集到的车道线点的三维位置信息确定所述相机图像对应区域的车道线点的三维位置信息。

可选地，所述利用预设车道线点采集策略采集车道线点的三维位置信息包括：

利用激光建图的策略离线采集车道线点的三维位置信息；或者，

根据车道线点的二维位置信息和自车定位信息离线采集车道线点的三维位置信息；或者，

获取激光点云数据并进行区域划分，根据区域内的激光点云数据实时采集车道线点的三维位置信息。

可选地，所述根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息包括：

根据所述车道线点的投影结果生成深度信息的刻度基线；

基于所述深度信息的刻度基线以及二维目标检测框的位置信息估计所述二维目标的深度信息。

可选地，所述二维目标检测框的位置信息包括二维目标检测框的下边缘位置信息，所述基于所述深度信息的刻度基线以及二维目标检测框的位置信息估计所述二维目标的深度信息包括：

基于所述深度信息的刻度基线以及二维目标检测框的下边缘位置信息，利用插值算法估计所述二维目标的深度信息。

可选地，在根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息之后，所述方法还包括：

获取激光点云的三维目标检测结果，所述三维目标检测结果包括三维目标检测框的位置信息；

根据所述二维目标检测结果、所述二维目标的深度信息以及激光点云的三维目标检测结果，将二维目标检测框与三维目标检测框进行匹配，得到目标匹配结果。

可选地，所述二维目标的深度信息是指二维目标与自车的距离，所述三维目标检测结果包括三维目标与自车的距离，所述根据所述二维目标的深度信息、所述二维目标检测结果以及所述三维目标检测结果，将二维目标检测框与三维目标检测框进行匹配，得到目标匹配结果包括：

将所述二维目标与自车的距离与所述三维目标与自车的距离进行比较，得到比较结果；

将所述三维目标检测框投影至自车坐标系的前视图视角下，得到三维目标的前视图投影框；

计算所述三维目标的前视图投影框与所述二维目标检测框的交并比；

根据所述比较结果和所述交并比确定目标匹配结果。

第二方面，本申请实施例还提供一种目标深度估计装置，其中，所述目标深度估计装置包括：

第一获取单元，用于获取自车采集的相机图像以及相机图像的二维目标检测结果，所述二维目标检测结果包括二维目标检测框的位置信息；

第二获取单元，用于获取所述相机图像对应区域的车道线点的三维位置信息；

投影单元，用于将所述相机图像对应区域的车道线点的三维位置信息投影至所述相机图像中，得到车道线点的投影结果；

估计单元，用于根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的目标深度估计方法，先获取自车采集的相机图像以及相机图像的二维目标检测结果，二维目标检测结果包括二维目标检测框的位置信息；然后获取相机图像对应区域的车道线点的三维位置信息；之后将相机图像对应区域的车道线点的三维位置信息投影至相机图像中，得到车道线点的投影结果；最后根据二维目标检测结果和车道线点的投影结果估计二维目标的深度信息。本申请实施例的目标深度估计方法利用车道线点的三维位置来对二维目标的深度信息进行估计，由于车道线点的三维位置精度是可靠的，由此保证了深度估计结果的准确性，且由于车道线点的三维位置具有纵向高度信息，使得深度信息的估计不受地面水平的限制，提高了可应用性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种目标深度估计方法的流程示意图；

图2为本申请实施例中一种车道线点添加纵向高度信息的前后投影结果对比示意图；

图3为本申请实施例中一种二维目标的深度信息估计方式示意图；

图4为本申请实施例中一种目标深度估计装置的结构示意图；

图5为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供了一种目标深度估计方法，如图1所示，提供了本申请实施例中一种目标深度估计方法的流程示意图，所述目标深度估计方法至少包括如下的步骤S110至步骤S140：

步骤S110，获取自车采集的相机图像以及相机图像的二维目标检测结果，所述二维目标检测结果包括二维目标检测框的位置信息。

本申请实施例的目标深度估计方法是为了估计出图像中的二维目标到自车的距离，“自车”是指部署有相机、激光雷达等传感器的自动驾驶车辆，“目标”是指自车上的传感器感知到的周围目标。

在进行目标深度估计时，需要先获取自车采集的相机图像，然后可以利用现有的2D目标检测算法对相机图像中的目标检测检测，得到二维目标检测结果，这里的二维目标检测结果具体可以包括二维目标检测框的位置，还可以包括目标类别等信息。

步骤S120，获取所述相机图像对应区域的车道线点的三维位置信息。

车道线是自动驾驶场景的重要道路标识，目前有多种方法可以对道路中的车道线点的三维位置信息进行离线或在线采集。由于标定好的车道线点的三维位置信息具有纵向高度信息且精度是可靠的，因此本申请实施例借助车道线点的三维位置信息来作为估计二维目标的深度信息的依据。

本申请实施例是针对相机图像中感知到的目标的深度进行估计，因此只需要获取相机图像中对应道路区域内的车道线点的三维位置信息即可。

步骤S130，将所述相机图像对应区域的车道线点的三维位置信息投影至所述相机图像中，得到车道线点的投影结果。

由于车道线点的三维位置信息是世界坐标系下的，因此需要根据事先标定好的世界坐标系到自车的相机坐标系的变换关系以及相机内参，将车道线点的三维位置信息投影到相机图像中，从而得到车道线点在相机图像中的投影结果。

步骤S140，根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息。

由于车道线点在相机图像中的投影结果表征的是车道线点在自车相机坐标系的具体位置，每一个车道线点的位置能够反映出车道线点与自车之间的距离，因此本申请实施例基于车道线点在相机图像中的投影位置以及二维目标检测框的位置，能够估计出二维目标检测框相对于自车的距离，也即得到了二维目标的深度信息。

本申请实施例的目标深度估计方法利用车道线点的三维位置来对二维目标的深度信息进行估计，由于车道线点的三维位置精度是可靠的，由此保证了深度估计结果的准确性，且由于车道线点的三维位置具有纵向高度信息，使得深度信息的估计不受地面水平的限制，提高了可应用性。

在本申请的一些实施例中，所述获取所述相机图像对应区域的车道线点的三维位置信息包括：利用预设车道线点采集策略采集车道线点的三维位置信息；根据自车定位信息和采集到的车道线点的三维位置信息确定所述相机图像对应区域的车道线点的三维位置信息。

本申请实施例可以根据实际场景需求采取不同的车道线点采集策略来采集车道线点的三维位置信息，可以是离线采集，也可以是实时在线采集。结合自车实时的定位信息从全部的车道线点数据中获取到自车位置对应区域内的车道线点的三维位置信息。

在本申请的一些实施例中，所述利用预设车道线点采集策略采集车道线点的三维位置信息包括：利用激光建图的策略离线采集车道线点的三维位置信息；或者，根据车道线点的二维位置信息和自车定位信息离线采集车道线点的三维位置信息；或者，获取激光点云数据并进行区域划分，根据区域内的激光点云数据实时采集车道线点的三维位置信息。

车道线点的三维位置信息可以是事先离线采集好的，如果是基于激光建图的方式进行采集，则可以直接采集到三维坐标信息，如果是基于图像建图的方式进行采集，则可能缺少车道线点的纵向高度信息，此时可以采用其他的方法添加车道线点的纵向高度信息，否则在坡地上估计误差会比较大。

如图2所示，提供了本申请实施例中一种车道线点添加纵向高度信息的前后投影结果对比示意图，图2中的左侧是没有添加纵向高度信息的车道线点在坡地上的投影，右侧是添加了实时地平面方程估计的纵向高度信息的车道线点的投影。

本申请实施例提供了三种添加车道线点的纵向高度信息的方式，第一种方式是激光建图方式，对点云进行地面提取之后，将车道线对应上并均匀采样，从而得到每个车道线点的纵向高度信息。这种方法适用于环境比较稳定的长期场景，可以提前采集车道线点并添加纵向高度信息，一劳永逸，且精度比较高。

第二种方式是对于基于图像建图提前获取到车道线点的二维坐标的情况，可以在离线状态下根据自车的绝对定位依次添加车道线点的纵向高度信息，忽略左右地面的高度差异，即认为自车左右的车道线高度与自车一致。此种方式方便快捷，易于实现，适用于环境相对稳定的长期场景。

第三种方式是基于实时地面估计添加车道线点的纵向高度信息，将采集的点云数据根据地面高度不同均匀划分成一些区域，对区域内的点云进行地面拟合，得到地面方程之后，对处于对应区域的车道线点实时添加纵向高度信息。此种方式可以根据任意场景下的实时车道线检测进行实时地面估计，但对于地面估计的精度要求较高。

具体采用何种策略采集车道线点的三维位置信息，本领域技术人员可以根据实际场景需求灵活选择，在此不作具体限定。

在本申请的一些实施例中，所述根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息包括：根据所述车道线点的投影结果生成深度信息的刻度基线；基于所述深度信息的刻度基线以及二维目标检测框的位置信息估计所述二维目标的深度信息。

本申请实施例在根据二维目标检测结果和车道线点的投影结果估计二维目标的深度信息时，可以先根据车道线点在图像中的投影点位置在相机图像中生成深度信息的刻度基线，这里的刻度基线可以理解为是基于每个车道线点在图像中的投影点位置生成的平行于地面且垂直于自车的行驶方向的多条刻度基线，因为每个车道线点的投影点位置能够确定，进而每条刻度基线的刻度值也能够确定。

基于上述多条刻度基线在相机图像中的位置，将二维目标检测框的位置与多条刻度基线的位置进行比较，即可确定出二维目标检测框处于哪个刻度基线附近，基于刻度基线上的刻度即可间接估计出二维目标到自车的距离，即得到了二维目标的深度信息。

在本申请的一些实施例中，所述二维目标检测框的位置信息包括二维目标检测框的下边缘位置信息，所述基于所述深度信息的刻度基线以及二维目标检测框的位置信息估计所述二维目标的深度信息包括：基于所述深度信息的刻度基线以及二维目标检测框的下边缘位置信息，利用插值算法估计所述二维目标的深度信息。

具体地，由于相机图像中的二维目标检测框是垂直于地面的，因此可以根据二维目标检测框的下边缘位置来查找其所对应的刻度基线，通过插值的方式即可估计出二维目标的深度信息。为便于对本申请实施例的理解，如图3所示，提供了本申请实施例中一种二维目标的深度信息估计方式示意图。

在本申请的一些实施例中，在根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息之后，所述方法还包括：获取激光点云的三维目标检测结果，所述三维目标检测结果包括三维目标检测框的位置信息；根据所述二维目标检测结果、所述二维目标的深度信息以及激光点云的三维目标检测结果，将二维目标检测框与三维目标检测框进行匹配，得到目标匹配结果。

本申请实施例在获取到二维目标的深度信息之后，可以将二维目标的深度信息应用到多传感器数据融合匹配的场景，例如将相机图像的二维目标检测结果与激光点云的三维目标检测结果进行后融合的场景。

具体地，在进行后融合时，可以先获取对应的激光点云的三维目标检测结果，具体可以包括三维目标检测框的三维位置信息，由于前述实施例估计出了二维目标的深度信息，因此在将三维目标检测框与二维目标检测框进行匹配时，可以进一步从目标与自车的距离方面进行考量，从而提高二维目标与三维目标匹配的准确性。

在本申请的一些实施例中，所述二维目标的深度信息是指二维目标与自车的距离，所述三维目标检测结果包括三维目标与自车的距离，所述根据所述二维目标的深度信息、所述二维目标检测结果以及所述三维目标检测结果，将二维目标检测框与三维目标检测框进行匹配，得到目标匹配结果包括：将所述二维目标与自车的距离与所述三维目标与自车的距离进行比较，得到比较结果；将所述三维目标检测框投影至自车坐标系的前视图视角下，得到三维目标的前视图投影框；计算所述三维目标的前视图投影框与所述二维目标检测框的交并比；根据所述比较结果和所述交并比确定目标匹配结果。

由于前述实施例得到的二维目标检测结果缺少目标前向的长度信息，所以此时得到的并不是完整的三维检测框，在这种情况下对于图像的二维检测框和激光的三维检测框的匹配，就不能使用传统的三维检测框的交并比方式进行匹配。

基于此，本申请实施例基于前述实施例估计出的二维目标的深度信息设计了两个方面的匹配指标，一个是目标与自车的距离，一个是检测框的交并比。二维目标的深度信息反映了二维目标与自车的距离，而基于三维目标检测结果可以确定三维目标与自车的距离，将二维目标与自车的距离与三维目标与自车的距离进行比较，两个距离之间的偏差越小，越有可能说明是同一目标。

由于二维目标检测框是垂直于地面的，在进行检测框的交并比计算时，可以先将三维目标检测框投影到自车坐标系下的zoy平面上，即自车的前视图视角，然后再根据二维目标的投影框与三维目标检测框在zoy平面的投影框计算两者的交并比，交并比越大，越有可能是同一目标。

基于上述两个方面的匹配指标，可以采取一定的融合策略进行融合处理，例如加权求和的方式，从而提高目标匹配融合的精度。具体如何进行融合，本领域技术人员可以根据实际需求灵活设置，在此不作具体限定。

本申请实施例还提供了一种目标深度估计装置400，如图4所示，提供了本申请实施例中一种目标深度估计装置的结构示意图，所述目标深度估计装置400包括：第一获取单元410、第二获取单元420、投影单元430以及估计单元440，其中：

第一获取单元410，用于获取自车采集的相机图像以及相机图像的二维目标检测结果，所述二维目标检测结果包括二维目标检测框的位置信息；

第二获取单元420，用于获取所述相机图像对应区域的车道线点的三维位置信息；

投影单元430，用于将所述相机图像对应区域的车道线点的三维位置信息投影至所述相机图像中，得到车道线点的投影结果；

估计单元440，用于根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息。

在本申请的一些实施例中，所述第二获取单元420具体用于：利用预设车道线点采集策略采集车道线点的三维位置信息；根据自车定位信息和采集到的车道线点的三维位置信息确定所述相机图像对应区域的车道线点的三维位置信息。

在本申请的一些实施例中，所述第二获取单元420具体用于：利用激光建图的策略离线采集车道线点的三维位置信息；或者，根据车道线点的二维位置信息和自车定位信息离线采集车道线点的三维位置信息；或者，获取激光点云数据并进行区域划分，根据区域内的激光点云数据实时采集车道线点的三维位置信息。

在本申请的一些实施例中，所述估计单元440具体用于：根据所述车道线点的投影结果生成深度信息的刻度基线；基于所述深度信息的刻度基线以及二维目标检测框的位置信息估计所述二维目标的深度信息。

在本申请的一些实施例中，所述二维目标检测框的位置信息包括二维目标检测框的下边缘位置信息，所述估计单元440具体用于：基于所述深度信息的刻度基线以及二维目标检测框的下边缘位置信息，利用插值算法估计所述二维目标的深度信息。

在本申请的一些实施例中，所述装置还包括：第三获取单元，用于在根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息之后，获取激光点云的三维目标检测结果，所述三维目标检测结果包括三维目标检测框的位置信息；匹配单元，用于根据所述二维目标检测结果、所述二维目标的深度信息以及激光点云的三维目标检测结果，将二维目标检测框与三维目标检测框进行匹配，得到目标匹配结果。

在本申请的一些实施例中，所述二维目标的深度信息是指二维目标与自车的距离，所述三维目标检测结果包括三维目标与自车的距离，所述匹配单元具体用于：将所述二维目标与自车的距离与所述三维目标与自车的距离进行比较，得到比较结果；将所述三维目标检测框投影至自车坐标系的前视图视角下，得到三维目标的前视图投影框；计算所述三维目标的前视图投影框与所述二维目标检测框的交并比；根据所述比较结果和所述交并比确定目标匹配结果。

能够理解，上述目标深度估计装置，能够实现前述实施例中提供的目标深度估计方法的各个步骤，关于目标深度估计方法的相关阐释均适用于目标深度估计装置，此处不再赘述。

图5是本申请的一个实施例电子设备的结构示意图。请参考图5，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成目标深度估计装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取自车采集的相机图像以及相机图像的二维目标检测结果，所述二维目标检测结果包括二维目标检测框的位置信息；

获取所述相机图像对应区域的车道线点的三维位置信息；

将所述相机图像对应区域的车道线点的三维位置信息投影至所述相机图像中，得到车道线点的投影结果；

根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息。

上述如本申请图1所示实施例揭示的目标深度估计装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中目标深度估计装置执行的方法，并实现目标深度估计装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中目标深度估计装置执行的方法，并具体用于执行：

获取自车采集的相机图像以及相机图像的二维目标检测结果，所述二维目标检测结果包括二维目标检测框的位置信息；

获取所述相机图像对应区域的车道线点的三维位置信息；

将所述相机图像对应区域的车道线点的三维位置信息投影至所述相机图像中，得到车道线点的投影结果；

根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种目标深度估计方法，其中，所述目标深度估计方法包括：

获取自车采集的相机图像以及相机图像的二维目标检测结果，所述二维目标检测结果包括二维目标检测框的位置信息；

获取所述相机图像对应区域的车道线点的三维位置信息；

将所述相机图像对应区域的车道线点的三维位置信息投影至所述相机图像中，得到车道线点的投影结果；

根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息。

2.如权利要求1所述目标深度估计方法，其中，所述获取所述相机图像对应区域的车道线点的三维位置信息包括：

利用预设车道线点采集策略采集车道线点的三维位置信息；

根据自车定位信息和采集到的车道线点的三维位置信息确定所述相机图像对应区域的车道线点的三维位置信息。

3.如权利要求1所述目标深度估计方法，其中，所述利用预设车道线点采集策略采集车道线点的三维位置信息包括：

利用激光建图的策略离线采集车道线点的三维位置信息；或者，

根据车道线点的二维位置信息和自车定位信息离线采集车道线点的三维位置信息；或者，

获取激光点云数据并进行区域划分，根据区域内的激光点云数据实时采集车道线点的三维位置信息。

4.如权利要求1所述目标深度估计方法，其中，所述根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息包括：

根据所述车道线点的投影结果生成深度信息的刻度基线；

基于所述深度信息的刻度基线以及二维目标检测框的位置信息估计所述二维目标的深度信息。

5.如权利要求4所述目标深度估计方法，其中，所述二维目标检测框的位置信息包括二维目标检测框的下边缘位置信息，所述基于所述深度信息的刻度基线以及二维目标检测框的位置信息估计所述二维目标的深度信息包括：

基于所述深度信息的刻度基线以及二维目标检测框的下边缘位置信息，利用插值算法估计所述二维目标的深度信息。

6.如权利要求1所述目标深度估计方法，其中，在根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息之后，所述方法还包括：

获取激光点云的三维目标检测结果，所述三维目标检测结果包括三维目标检测框的位置信息；

根据所述二维目标检测结果、所述二维目标的深度信息以及激光点云的三维目标检测结果，将二维目标检测框与三维目标检测框进行匹配，得到目标匹配结果。

7.如权利要求6所述目标深度估计方法，其中，所述二维目标的深度信息是指二维目标与自车的距离，所述三维目标检测结果包括三维目标与自车的距离，所述根据所述二维目标的深度信息、所述二维目标检测结果以及所述三维目标检测结果，将二维目标检测框与三维目标检测框进行匹配，得到目标匹配结果包括：

将所述二维目标与自车的距离与所述三维目标与自车的距离进行比较，得到比较结果；

将所述三维目标检测框投影至自车坐标系的前视图视角下，得到三维目标的前视图投影框；

计算所述三维目标的前视图投影框与所述二维目标检测框的交并比；

根据所述比较结果和所述交并比确定目标匹配结果。

8.一种目标深度估计装置，其中，所述目标深度估计装置包括：

第一获取单元，用于获取自车采集的相机图像以及相机图像的二维目标检测结果，所述二维目标检测结果包括二维目标检测框的位置信息；

第二获取单元，用于获取所述相机图像对应区域的车道线点的三维位置信息；

投影单元，用于将所述相机图像对应区域的车道线点的三维位置信息投影至所述相机图像中，得到车道线点的投影结果；

估计单元，用于根据所述二维目标检测结果和所述车道线点的投影结果估计二维目标的深度信息。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。