CN117876669A - 目标检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种目标检测方法、装置、计算机设备和存储介质。方法包括：获取多任务模型输出的车道线检测结果和三维目标检测结果；从三维目标检测结果中确定三维目标的目标点处的目标深度信息；根据车道线检测结果确定与三维目标相邻的至少一参考车道线；从每个参考车道线上确定目标点对应的参考点；目标点与参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向；从车道线检测结果中确定每个参考点处的参考深度信息；根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型。采用本方法能够提高目标检测的准确性。

Description

目标检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种目标检测方法、装置、计算机设备和存储介质。

背景技术

随着计算机视觉技术的发展，目标检测技术作为计算机视觉领域的一个重要分支，得到了广泛的应用。比如，在智能驾驶领域，通过目标检测技术，能够在车辆行驶过程中检测和识别各种目标，以辅助车辆更好地理解行驶情况，从而做出更准确的驾驶决策。

传统技术中，将车道线检测和目标检测这两个任务结合起来，通过共享至少部分权重的多任务模型实现车道线检测和目标检测。但是，多任务之间的竞争会导致精度下降，导致目标检测不够准确。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高准确性的目标检测方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种目标检测方法，包括：获取多任务模型输出的车道线检测结果和三维目标检测结果；从三维目标检测结果中确定三维目标的目标点处的目标深度信息；根据车道线检测结果确定与三维目标相邻的至少一参考车道线；从每个参考车道线上确定目标点对应的参考点；目标点与参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向；从车道线检测结果中确定每个参考点处的参考深度信息；根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型。

第二方面，本申请还提供了一种目标检测装置，包括：模型推理模块、目标深度确定模块、车道线确定模块、参考点确定模块、参考深度确定模块和模型优化模块。

模型推理模块，用于获取多任务模型输出的车道线检测结果和三维目标检测结果。

目标深度确定模块，用于从三维目标检测结果中确定三维目标的目标点处的目标深度信息。

车道线确定模块，用于根据车道线检测结果确定与三维目标相邻的至少一参考车道线。

参考点确定模块，用于从每个参考车道线上确定目标点对应的参考点；目标点与参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向。

参考深度确定模块，用于从车道线检测结果中确定每个参考点处的参考深度信息。

模型优化模块，用于根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法中的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法中的步骤。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

上述目标检测方法、装置、计算机设备、存储介质和计算机程序产品，获取多任务模型输出的车道线检测结果和三维目标检测结果。在三维目标检测和车道线检测时，三维检测的深度与车道线检测的深度相匹配，属于车道线检测任务与三维目标检测任务之间的关联关系，而利用这种关联关系对多任务模型进行优化，能够减少车道线检测任务与三维目标检测任务之间由于竞争导致的精度下降。通过从三维目标检测结果中确定三维目标的目标点处的目标深度信息；根据车道线检测结果确定与三维目标相邻的至少一参考车道线；从每个参考车道线上确定目标点对应的参考点；目标点与参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向，目标点与参考点在三维空间中应该位于同一水平面内，它们的垂直位置是相同的，因此目标点与参考点的深度应该是相同的；进而从车道线检测结果中确定每个参考点处的参考深度信息；根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型，能够在多任务模型的优化中充分利用三维目标检测任务与车道线检测任务之间的关联关系，减少由于多任务竞争导致的精度下降，提高目标检测的准确性。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种目标检测方法的流程示意图。

图2为本申请实施例提供的一种多任务模型的结构示意图。

图3为本申请实施例提供的一种目标点和两个参考点的示意图。

图4为本申请实施例提供的一种目标检测装置的结构框图。

图5为本申请实施例提供的一种计算机设备的内部结构图。

图6为本申请实施例提供的另一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个示例性的实施例中，如图1所示，提供了一种目标检测方法，以该方法应用于计算机设备为例进行说明，包括以下步骤102至步骤112。

步骤102，获取多任务模型输出的车道线检测结果和三维目标检测结果。

其中，多任务模型是指用于实现车道线检测任务和三维目标检测任务的模型。示例性地，计算机设备可以将采集的初始图像输入至多任务模型，获取多任务模型中车道线检测分支输出的车道线检测结果，以及多任务模型中三维目标检测分支输出的车道线检测结果。

在一些实施例中，多任务模型包括共享骨干网络、车道线检测分支和三维目标检测分支。共享骨干网络用于对初始图像进行特征提取得到融合图像特征。车道线检测分支用于根据融合图像特征进行车道线检测。三维目标检测分支用于根据融合图像特征进行三维目标检测。

在一些实施例中，车道线检测结果用于表征图像中的车道线。三维目标检测结果用于表征图像中的三维目标。比如，车道线检测结果可以包括车道线位置信息。车道线位置信息用于表征车道线在图像中的位置。三维目标检测结果可以包括三维目标的预测框。预测框的位置即为三维目标在图像中的位置。

在一些实施例中，计算机设备可以包括终端或服务器中的至少一种。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

步骤104，从三维目标检测结果中确定三维目标的目标点处的目标深度信息。

其中，目标深度信息用于表征三维空间中目标点到图像平面的垂直距离。图像平面是指图像采集设备捕捉到的图像所在的平面。这个平面通常与图像采集设备的传感器相重合，而传感器则负责记录通过镜头投射到其上的光线。

示例性地，三维目标的目标点可以是从三维目标的预测框上确定的。这个目标点可以是预测框底面上的点。三维目标检测结果可以包括预测框上每个点处的第一深度信息。计算机设备可以从预测框上每个点处的第一深度信息中确定出目标点处的目标深度信息。

在一些实施例中，三维目标的目标点可以但不限于是三维目标的预测框底面的中心点。

步骤106，根据车道线检测结果确定与三维目标相邻的至少一参考车道线。

示例性地，车道线检测结果可以包括车道线位置信息。车道线位置信息用于表征车道线的位置。三维目标检测结果可以包括三维目标的预测框。预测框用于表征三维目标的位姿。计算机设备可以通过比对车道线位置信息表征的位置和预测框的位置从至少一个车道线中确定出与预测框相邻的至少一参考车道线。可以理解，预测框相邻的参考车道线就是三维目标相邻的参考车道线。

步骤108，从每个参考车道线上确定目标点对应的参考点；目标点与参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向。

示例性地，计算机设备可以从目标点开始沿着第一方向查找每个参考车道线上的参考点。

在一些实施例中，计算机设备可以根据目标点和第一方向确定直线。将该直线与每个参考车道线的交点确定为参考点。可以理解，在目标点处沿着垂直车辆行驶方向的水平方向（即横向）画出水平线，可以与三维目标两侧的参考车道线相交于参考点。需要说明的是，本申请实施例提到的目标点、交点和参考点可以但不限于是图像中的像素点。

步骤110，从车道线检测结果中确定每个参考点处的参考深度信息。

示例性地，车道线检测结果可以包括车道线上每个像素点处的第二深度信息。计算机设备可以从车道线上每个像素点处的第二深度信息中确定出参考点处的参考深度信息。

步骤112，根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型。

在一些实施例中，计算机设备可以根据目标深度信息与参考深度信息之间的差异确定第一参考损失。朝着第一参考损失减小的方向对多任务模型进行优化，得到优化后的多任务模型。

在一些实施例中，第一参考损失可以是在多任务模型原有损失的基础上，另外附加的一个损失，第一参考损失与原有损失共同用于监督多任务模型的优化过程。原有损失可以包括车道线检测损失或三维目标损失等损失中的至少一种。本申请实施例对原有损失的计算不作限定，只要起到在车道线检测任务和三维目标检测任务中衡量模型的效果即可。

在一些实施例中，参考点为至少一个。每个参考点处都有一个参考深度信息，计算机设备可以对至少一个参考深度信息进行融合，得到融合深度信息。根据目标深度信息与融合深度信息之间的差异对多任务模型进行优化。

可以理解，三维目标的预测框底面上的目标点的深度应与相邻车道线（即参考车道线）上的参考点的深度应该是一致的，这是因为参考点是参考车道线上与目标点在第一方向上的交点，而第一方向是垂直于车辆行驶方向的水平方向（即横向），故而其实参考点和目标点位于同一水平面内，它们的垂直位置是相同的，即使由于视角和相机参数的影响，它们在图像中的表现有所不同，它们的深度信息应该是相同的。但是受检测精度和图像采集设备的影响，车道线检测结果和三维目标检测结果中的深度信息未必准确，故而在参考点有两个及以上的情况下，对各参考点处的参考深度信息进行融合，能够得到更加准确地融合深度信息。

在一些实施例中，在参考车道线只有一条的情况下，目标点对应的参考点只有一个，计算机设备可以将参考点处的参考深度信息作为融合深度信息。

在一些实施例中，计算机设备可以根据参考点与目标点之间的相对位置关系对各参考点处的参考深度信息进行加权融合，得到融合深度信息。

在一些实施例中，计算机设备可以根据目标深度信息与融合深度信息之间的差异确定第一参考损失。

在一些实施例中，计算机设备可以计算目标深度信息与融合深度信息之间的平均绝对误差，得到第一参考损失。

上述目标检测方法中，获取多任务模型输出的车道线检测结果和三维目标检测结果。在三维目标检测和车道线检测时，三维检测的深度与车道线检测的深度相匹配，属于车道线检测任务与三维目标检测任务之间的关联关系，而利用这种关联关系对多任务模型进行优化，能够减少车道线检测任务与三维目标检测任务之间由于竞争导致的精度下降。通过从三维目标检测结果中确定三维目标的目标点处的目标深度信息；根据车道线检测结果确定与三维目标相邻的至少一参考车道线；从每个参考车道线上确定目标点对应的参考点；目标点与参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向，目标点与参考点在三维空间中应该位于同一水平面内，它们的垂直位置是相同的，因此目标点与参考点的深度应该是相同的；进而从车道线检测结果中确定每个参考点处的参考深度信息；根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型，能够在多任务模型的优化中充分利用三维目标检测任务与车道线检测任务之间的关联关系，减少由于多任务竞争导致的精度下降，提高目标检测的准确性。

在一些实施例中，获取多任务模型输出的车道线检测结果和三维目标检测结果，包括：对采集的初始图像的中心区域进行抠图处理，得到中心子图像；通过多任务模型对初始图像的整图特征和中心子图像的抠图特征进行融合，得到融合图像特征；根据融合图像特征进行车道线检测，得到车道线检测结果；根据融合图像特征进行三维目标检测，得到三维目标检测结果。

在一些实施例中，计算机设备可以获取采集的初始图像。初始图像可以是在车辆行驶过程中采集的。依据第一预设比例对初始图像的中心区域进行抠图处理，得到中心子图像。比如，从初始图像抠出来的中心子图像的尺寸可以是初始图像的尺寸的1/4，即，中心图像可以是从初始图像中抠出的横向和纵向各1/2分辨率的子图像。

在一些实施例中，计算机设备可以按照第二预设比例对初始图像进行缩小，得到缩小图像。初始图像可以但不限于是大分辨率图像。对缩小图像进行下采样处理得到整图特征。对中心子图像进行至少一层级的下采样处理，得到抠图特征。抠图特征对应的分辨率与整图特征对应的分辨率相同。可以理解，初始图像缩小后，相应的分辨率下降，经过下采样处理后，相应的分辨率进一步下降，故而中心子图像需要进行下采样处理，使得抠图特征对应的分辨率与整图特征对应的分辨率保持一致，进而保证后续的整图特征与抠图特征的融合效果。

在一些实施例中，计算机设备可以通过对缩小图像进行卷积实现下采样处理得到整图特征。对中心子图像进行至少一次卷积实现至少一层级的下采样处理，得到抠图特征。

在一些实施例中，整图特征可以但不限于是对缩小图像卷积到1/4下采样得到的。抠图特征可以但不限于是对中心子图像卷积到1/8下采样得到的。

在一些实施例中，计算机设备可以将缩小图像和中心子图像输入至多任务模型中，通过多任务模型提取整图特征和抠图特征。

在一些实施例中，多任务模型包括骨干网络。骨干网络可以用于对输入的缩小图像提取整图特征，以及对输入的中心子图像提取抠图特征。

在一些实施例中，计算机设备可以将抠图特征叠加到整图特征的中心区域进行融合，得到融合图像特征。

在一些实施例中，多任务模型可以包括骨干网络、车道线检测分支和三维目标检测分支。车道线检测分支根据骨干网络输出的融合图像特征进行车道线检测，输出车道线检测结果。三维目标检测分支用于根据骨干网络输出的融合图像特征进行三维目标检测，输出三维目标检测结果。

在一些实施例中，如图2所示，提供了多任务模型的结构示意图。缩小图像和中心子图像被输入到多任务模型中。在多任务模型中，缩小图像通过第一输入分支进行1/4下采样得到整图特征，中心子图像通过第二输入分支进行多层的1/2下采样得到抠图特征。抠图特征被叠加在整图特征的中心区域进行融合得到对应第一分辨率的融合图像特征。对应第一分辨率的融合图像特征经过多层的1/2下采样得到对应第二分辨率的融合图像特征、对应第三分辨率的融合图像特征以及对应第四分辨率的融合图像特征。

车道线检测分支将对应第四分辨率的融合图像特征经过2倍的上采样后，得到对应第三分辨率的第一上采样特征。将对应第三分辨率的第一上采样特征与对应第三分辨率的融合图像特征共同经过2倍的上采样后，得到对应第二分辨率的第一上采样特征。将对应第二分辨率的第一上采样特征与对应第二分辨率的融合图像特征共同经过2倍的上采样后，得到对应第一分辨率的第一上采样特征。将对应第一分辨率的第一上采样特征与对应第一分辨率的融合图像特征共同经过2倍的上采样后，得到车道线检测结果。

三维目标检测分支将对应第四分辨率的融合图像特征经过2倍的上采样后，得到对应第三分辨率的第二上采样特征。将对应第三分辨率的第二上采样特征与对应第三分辨率的融合图像特征共同经过2倍的上采样后，得到对应第二分辨率的第二上采样特征。将对应第二分辨率的第二上采样特征与对应第二分辨率的融合图像特征共同经过2倍的上采样后，得到对应第一分辨率的第二上采样特征。将对应第一分辨率的第二上采样特征与对应第一分辨率的融合图像特征共同经过2倍的上采样后，继续经过对应第一分辨率的输出层得到对应第一分辨率的三维目标检测结果。对应第一分辨率的三维目标检测结果和对应第一分辨率的第二上采样特征共同经过对应第二分辨率的输出层后，得到对应第二分辨率的三维目标检测结果。对应第二分辨率的三维目标检测结果和对应第二分辨率的第二上采样特征共同经过对应第三分辨率的输出层后，得到对应第三分辨率的三维目标检测结果。对应第三分辨率的三维目标检测结果和对应第三分辨率的第二上采样特征共同经过对应第四分辨率的输出层后，得到对应第四分辨率的三维目标检测结果。

其中，第一分辨率大于第二分辨率大于第三分辨率大于第四分辨率。需要说明的是，本申请实施例给出的是分别对应四个分辨率的网络层，实际可以根据需求设置对应更多或更少的分辨率的网络层。

本实施例中，对采集的初始图像的中心区域进行抠图处理，得到中心子图像；通过多任务模型对初始图像的整图特征和中心子图像的抠图特征进行融合，得到融合图像特征；根据融合图像特征进行车道线检测，得到车道线检测结果；根据融合图像特征进行三维目标检测，得到三维目标检测结果，能够为车道线检测和三维目标检测提供更加丰富的图像特征，提高检测的准确性。相较于只输入抠图的方式，共同输入抠图和整图，能够避免模型对抠图边缘特征的误判导致的重框问题。

在一些实施例中，从三维目标检测结果中确定三维目标的目标点处的目标深度信息，包括：从三维目标检测结果中确定三维目标的预测框；将预测框的底面的中心点确定为三维目标的目标点；底面用于表征三维目标与车道的接触面；从三维目标检测结果中确定目标点处的目标深度信息。

在一些实施例中，三维目标检测结果中包括预测框以及预测框上每个点处的第一深度信息。每个预测框表征一个三维目标的位姿。

在一些实施例中，如图3所示，提供了目标点和两个参考点的示意图。三维目标可以但不限于是车辆。除了目标点D、参考点L1和参考点L2所在的虚线外，其余虚线部分圈出的部分就是预测框的位置。三维目标的预测框处于两个参考车道线中间，对预测框底面的中心点（即目标点D）沿着第一方向绘制直线，直线与两个参考车道线分别相较于参考点L1和参考点L2。

本实施例中，通过从三维目标检测结果中确定三维目标的预测框；将预测框的底面的中心点确定为三维目标的目标点；底面用于表征三维目标与车道的接触面；从三维目标检测结果中确定目标点处的目标深度信息，底面中心点在2维图像中投影的位置处的深度应该与三维目标上的目标点的深度是相同的，故而后续能够根据这种关联关系减少多任务竞争导致的精度下降，提高准确性。

在一些实施例中，根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型，包括：根据每个参考点分别与目标点的相对位置关系对每个参考点处的参考深度信息进行加权融合，得到融合深度信息；根据目标深度信息与融合深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型。

示例性地，计算机设备可以根据参考点与目标点在第一方向上的位置差异确定参考点对应的深度权重；根据每个参考点对应的深度权重对每个参考点处的参考深度信息进行加权求和，得到融合深度信息。其中，位置差异越大，相应的深度权重就越小。

在一些实施例中，计算机设备可以确定参考点的坐标和目标点的坐标，根据横向坐标差值（即第一方向上的位置差异）确定相应的深度权重。

本实施例中，根据每个参考点分别与目标点的相对位置关系对每个参考点处的参考深度信息进行加权融合，得到融合深度信息；根据目标深度信息与融合深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型，能够在多任务模型的优化中充分利用三维目标检测任务与车道线检测任务之间的关联关系，减少由于多任务竞争导致的精度下降，提高目标检测的准确性。

在一些实施例中，方法还包括：在基于多任务模型对输入图像进行车道线检测的过程中，对输入图像的感兴趣等级进行回归分析，得到输入图像中每个像素处的预测感兴趣等级；基于车道线检测结果中的车道边界位置信息确定车道区域；车道区域内像素的标签感兴趣等级大于车道区域外像素的标签感兴趣等级；根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型，包括：根据第一差异和第二差异对多任务模型进行优化，得到优化后的多任务模型；第一差异是指目标深度信息与参考深度信息之间的差异；第二差异是指标签感兴趣等级和预测感兴趣等级之间的差异。

在一些实施例中，输入图像是指输入至多任务模型中的图像。输入图像可以包括缩小图像和中心子图像。

在一些实施例中，多任务模型的车道线检测分支能够实现对输入图像的感兴趣等级的预测。车道线检测结果可以包括输入图像中每个像素点处的预测感兴趣等级。

在一些实施例中，车道边界位置信息用于表征车道边界的位置，即，路沿。

在一些实施例中，车道线检测结果可以包括车道边界位置信息和车道线位置信息。计算机设备可以基于车道边界位置信息和车道线位置信息提取出车道区域。可以理解，车道边界是指车道两侧的边界，车道线处于车道边界的内侧，车道区域是指车道边界内侧的区域，是车辆行驶的区域。

在一些实施例中，在车辆行驶中更加关注车道区域内的情况，故而将车道区域内像素的标签感兴趣等级设置的更大，而车道区域外像素的标签感兴趣等级设置的更小。车道区域内的像素属于关注像素，车道区域外的像素属于背景像素。背景像素的标签感兴趣等级可以与该背景像素与相邻的车道边界的距离负相关，即，背景像素与相邻的车道边界的距离越大，则背景像素的标签感兴趣等级越小，反之则越大。相邻的车道边界是指至少一个车道边界中与背景像素距离最近的车道边界。

在一些实施例中，关注像素的标签感兴趣等级为最大感兴趣等级。背景像素的标签感兴趣等级小于最大感兴趣等级。比如，关注像素的标签感兴趣等级为1，背景像素的标签感兴趣等级就小于1。

在一些实施例中，感兴趣等级的回归分析作为车道线检测任务的一个任务分支，需要在这个分支中衡量模型的效果。标签感兴趣等级和预测感兴趣等级之间的第二差异能够用于衡量在感兴趣等级的回归分析这个任务分支中模型的效果，可以用于为模型的优化提供监督。计算机设备可以根据第二差异对多任务模型进行优化，保证多任务模型输出的预测感兴趣等级的准确性。

本实施例中，在基于多任务模型对输入图像进行车道线检测的过程中，对输入图像的感兴趣等级进行回归分析，得到输入图像中每个像素处的预测感兴趣等级；基于车道线检测结果中的车道边界位置信息确定车道区域；车道区域内像素的标签感兴趣等级大于车道区域外像素的标签感兴趣等级；根据第一差异和第二差异对多任务模型进行优化，得到优化后的多任务模型；第一差异是指目标深度信息与参考深度信息之间的差异；第二差异是指标签感兴趣等级和预测感兴趣等级之间的差异，能够使得多任务模型更加关注车道区域内的情况，保证车辆行驶安全。

在一些实施例中，三维目标检测结果包括三维目标的预测框的预测置信度；方法还包括：根据预测框内像素处的预测感兴趣等级确定预测框对应的预测感兴趣等级；根据预测框对应的预测感兴趣等级对预测框的预测置信度进行加权，得到预测框的目标置信度。

在一些实施例中，车道线检测结果可以包括每个像素处的预测感兴趣等级。其中车道区域内像素的预测感兴趣等级高于车道区域外像素的预测感兴趣等级。像素处的预测感兴趣等级用于表征该像素的关注度，即，该像素的重要性。可以理解，预测感兴趣等级越大则该像素的关注度越高。计算机设备可以根据预测框底面的预设区域内像素处的预测感兴趣等级确定预测框对应的预测感兴趣等级。其中，预测框的整个底面可以作为预设区域，预测框底面中心的预设范围可以作为预设区域。计算机设备可以使用预测框对应的预测感兴趣等级对预测框的预测置信度进行加权，得到预测框的目标置信度。可以理解，预测框对应的预测感兴趣等级越高则预测框的目标置信度越高。比如，预测框对应的预测感兴趣等级为1，则目标置信度等于预测置信度，预测框对应的预测感兴趣等级为0.5，则目标置信度等于0.5×预测置信度。

在一些实施例中，计算机设备可以对预测框底面的预设区域内像素处的预测感兴趣等级进行加权融合，得到预测框对应的预测感兴趣等级。比如，预测框底面的预设区域内像素处的预测感兴趣等级的均值可以作为预测框对应的预测感兴趣等级。

在一些实施例中，计算机设备可以基于预测框的目标置信度进行驾驶决策。

本实施例中，根据预测框内像素处的预测感兴趣等级确定预测框对应的预测感兴趣等级；根据预测框对应的预测感兴趣等级对预测框的预测置信度进行加权，得到预测框的目标置信度，能够减小多任务模型对车道区域外的三维目标的关注度，同时保证多任务模型对车道区域内的三维目标的关注度，提高车辆行驶安全。

在一些实施例中，三维目标检测结果包括三维目标的预测框；方法还包括：根据预测框内像素处的标签感兴趣等级确定预测框对应的标签感兴趣等级；根据预测框对应的标签感兴趣等级确定预测框对应的损失权重；预测框对应的损失权重用于表征预测框在三维目标检测损失的计算中占据的比重；根据第一差异和第二差异对多任务模型进行优化，得到优化后的多任务模型，包括：根据第一差异确定第一参考损失；根据第二差异确定第二参考损失；朝着第一参考损失、第二参考损失和三维目标检测损失均减小的方向对多任务模型进行优化，得到优化后的多任务模型。

在一些实施例中，车道区域内像素的标签感兴趣等级高于车道区域外像素的标签感兴趣等级。计算机设备可以根据预测框底面的预设区域内像素处的标签感兴趣等级确定预测框对应的标签感兴趣等级。

在一些实施例中，计算机设备可以对预测框底面的预设区域内像素处的标签感兴趣等级进行加权融合得到预测框对应的标签感兴趣等级。

在一些实施例中，计算机设备可以将预测框底面的预设区域内像素处的标签感兴趣等级的均值作为预测框对应的标签感兴趣等级。

在一些实施例中，预测框对应的标签感兴趣等级可以用于表征该预测框在模型优化过程中的关注度。可以理解，在多任务模型的优化过程中需要重点关注车道区域内的预测框。

在一些实施例中，预测框对应的标签感兴趣等级越高，则预测框对应的损失权重越高。损失权重用于在原有的三维目标检测损失的基础上针对每个预测框作加权。需要说明的是，本申请实施例对损失权重的设置方式不作限定，只要满足预测框对应的标签感兴趣等级越高，则预测框对应的损失权重越高这个关系即可。

在一些实施例中，计算机设备可以基于三维目标检测结果和各预测框分别对应的损失权重确定三维目标检测损失。朝着三维目标检测损失减小的方向对多任务模型进行优化。

在一些实施例中，计算机设备可以根据第二差异确定第二参考损失。第二差异越大则第二参考损失越大。需要说明的是，本申请实施例对第二参考损失的计算方式不作限定。

在一些实施例中，计算机设备可以根据第一参考损失、第二参考损失或三维目标检测损失中的至少一种对多任务模型进行优化。

本实施例中，三维目标检测结果包括三维目标的预测框；根据预测框内像素处的标签感兴趣等级确定预测框对应的标签感兴趣等级；根据预测框对应的标签感兴趣等级确定预测框对应的损失权重；预测框对应的损失权重用于表征预测框在三维目标检测损失的计算中占据的比重；根据第一差异确定第一参考损失；根据第二差异确定第二参考损失；朝着第一参考损失、第二参考损失和三维目标检测损失均减小的方向对多任务模型进行优化，得到优化后的多任务模型，能够在多任务模型的优化中更加关注车道区域内的预测框的准确性，保证智能驾驶的安全性。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的目标检测方法的目标检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标检测装置实施例中的具体限定可以参见上文中对于目标检测方法的限定，在此不再赘述。

在一个示例性的实施例中，如图4所示，提供了一种目标检测装置400，包括：模型推理模块402、目标深度确定模块404、车道线确定模块406、参考点确定模块408、参考深度确定模块410和模型优化模块412。

模型推理模块402，用于获取多任务模型输出的车道线检测结果和三维目标检测结果。

目标深度确定模块404，用于从三维目标检测结果中确定三维目标的目标点处的目标深度信息。

车道线确定模块406，用于根据车道线检测结果确定与三维目标相邻的至少一参考车道线。

参考点确定模块408，用于从每个参考车道线上确定目标点对应的参考点；目标点与参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向。

参考深度确定模块410，用于从车道线检测结果中确定每个参考点处的参考深度信息。

模型优化模块412，用于根据目标深度信息与参考深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型。

在一些实施例中，模型推理模块402，用于对采集的初始图像的中心区域进行抠图处理，得到中心子图像；通过多任务模型对初始图像的整图特征和中心子图像的抠图特征进行融合，得到融合图像特征；根据融合图像特征进行车道线检测，得到车道线检测结果；根据融合图像特征进行三维目标检测，得到三维目标检测结果。

在一些实施例中，目标深度确定模块404，用于从三维目标检测结果中确定三维目标的预测框；将预测框的底面的中心点确定为三维目标的目标点；底面用于表征三维目标与车道的接触面；从三维目标检测结果中确定目标点处的目标深度信息。

在一些实施例中，模型优化模块412，用于根据每个参考点分别与目标点的相对位置关系对每个参考点处的参考深度信息进行加权融合，得到融合深度信息；根据目标深度信息与融合深度信息之间的差异对多任务模型进行优化，得到优化后的多任务模型。

在一些实施例中，模型推理模块402，用于在基于多任务模型对输入图像进行车道线检测的过程中，对输入图像的感兴趣等级进行回归分析，得到输入图像中每个像素处的预测感兴趣等级；基于车道线检测结果中的车道边界位置信息确定车道区域；车道区域内像素的标签感兴趣等级大于车道区域外像素的标签感兴趣等级；模型优化模块412，用于根据第一差异和第二差异对多任务模型进行优化，得到优化后的多任务模型；第一差异是指目标深度信息与参考深度信息之间的差异；第二差异是指标签感兴趣等级和预测感兴趣等级之间的差异。

在一些实施例中，三维目标检测结果包括三维目标的预测框的预测置信度；模型推理模块402，用于根据预测框内像素处的预测感兴趣等级确定预测框对应的预测感兴趣等级；根据预测框对应的预测感兴趣等级对预测框的预测置信度进行加权，得到预测框的目标置信度。

在一些实施例中，三维目标检测结果包括三维目标的预测框；模型优化模块412，用于根据预测框内像素处的标签感兴趣等级确定预测框对应的标签感兴趣等级；根据预测框对应的标签感兴趣等级确定预测框对应的损失权重；预测框对应的损失权重用于表征预测框在三维目标检测损失的计算中占据的比重；根据第一差异确定第一参考损失；根据第二差异确定第二参考损失；朝着第一参考损失、第二参考损失和三维目标检测损失均减小的方向对多任务模型进行优化，得到优化后的多任务模型。

上述目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标检测方法。

在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种目标检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5或图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：

获取多任务模型输出的车道线检测结果和三维目标检测结果；

从所述三维目标检测结果中确定三维目标的目标点处的目标深度信息；

根据所述车道线检测结果确定与所述三维目标相邻的至少一参考车道线；

从每个所述参考车道线上确定所述目标点对应的参考点；所述目标点与所述参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向；

从所述车道线检测结果中确定每个所述参考点处的参考深度信息；

根据所述目标深度信息与所述参考深度信息之间的差异对所述多任务模型进行优化，得到优化后的多任务模型。

2.根据权利要求1所述的方法，其特征在于，所述获取多任务模型输出的车道线检测结果和三维目标检测结果，包括：

对采集的初始图像的中心区域进行抠图处理，得到中心子图像；

通过多任务模型对所述初始图像的整图特征和所述中心子图像的抠图特征进行融合，得到融合图像特征；

根据所述融合图像特征进行车道线检测，得到车道线检测结果；

根据所述融合图像特征进行三维目标检测，得到三维目标检测结果。

3.根据权利要求1所述的方法，其特征在于，所述从所述三维目标检测结果中确定三维目标的目标点处的目标深度信息，包括：

从所述三维目标检测结果中确定三维目标的预测框；

将所述预测框的底面的中心点确定为所述三维目标的目标点；所述底面用于表征所述三维目标与车道的接触面；

从所述三维目标检测结果中确定所述目标点处的目标深度信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标深度信息与所述参考深度信息之间的差异对所述多任务模型进行优化，得到优化后的多任务模型，包括：

根据每个所述参考点分别与所述目标点的相对位置关系对每个所述参考点处的参考深度信息进行加权融合，得到融合深度信息；

根据所述目标深度信息与所述融合深度信息之间的差异对所述多任务模型进行优化，得到优化后的多任务模型。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

在基于所述多任务模型对输入图像进行车道线检测的过程中，对所述输入图像的感兴趣等级进行回归分析，得到所述输入图像中每个像素处的预测感兴趣等级；

基于所述车道线检测结果中的车道边界位置信息确定车道区域；所述车道区域内像素的标签感兴趣等级大于所述车道区域外像素的标签感兴趣等级；

所述根据所述目标深度信息与所述参考深度信息之间的差异对所述多任务模型进行优化，得到优化后的多任务模型，包括：

根据第一差异和第二差异对所述多任务模型进行优化，得到优化后的多任务模型；所述第一差异是指所述目标深度信息与所述参考深度信息之间的差异；所述第二差异是指所述标签感兴趣等级和所述预测感兴趣等级之间的差异。

6.根据权利要求5所述的方法，其特征在于，所述三维目标检测结果包括三维目标的预测框的预测置信度；

所述方法还包括：

根据所述预测框内像素处的预测感兴趣等级确定所述预测框对应的预测感兴趣等级；

根据所述预测框对应的预测感兴趣等级对所述预测框的预测置信度进行加权，得到所述预测框的目标置信度。

7.根据权利要求5所述的方法，其特征在于，所述三维目标检测结果包括三维目标的预测框；

所述方法还包括：

根据所述预测框内像素处的标签感兴趣等级确定所述预测框对应的标签感兴趣等级；

根据所述预测框对应的标签感兴趣等级确定所述预测框对应的损失权重；所述预测框对应的损失权重用于表征所述预测框在三维目标检测损失的计算中占据的比重；

所述根据第一差异和第二差异对所述多任务模型进行优化，得到优化后的多任务模型，包括：

根据第一差异确定第一参考损失；

根据第二差异确定第二参考损失；

朝着所述第一参考损失、所述第二参考损失和所述三维目标检测损失均减小的方向对所述多任务模型进行优化，得到优化后的多任务模型。

8.一种目标检测装置，其特征在于，所述装置包括：

模型推理模块，用于获取多任务模型输出的车道线检测结果和三维目标检测结果；

目标深度确定模块，用于从所述三维目标检测结果中确定三维目标的目标点处的目标深度信息；

车道线确定模块，用于根据所述车道线检测结果确定与所述三维目标相邻的至少一参考车道线；

参考点确定模块，用于从每个所述参考车道线上确定所述目标点对应的参考点；所述目标点与所述参考点之间的直线的第一方向是与车辆行驶方向垂直的水平方向；

参考深度确定模块，用于从所述车道线检测结果中确定每个所述参考点处的参考深度信息；

模型优化模块，用于根据所述目标深度信息与所述参考深度信息之间的差异对所述多任务模型进行优化，得到优化后的多任务模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。