CN114202745A - 一种弱监督单目车辆空间位置预测的方法及装置 - Google Patents

Abstract

本发明提出一种弱监督单目车辆空间位置预测的方法和装置，其中，方法包括：获取目标车辆的2D图像，根据预先训练的目标检测网络检测所述目标车辆的接地点的坐标信息；根据所述接地点的坐标信息，对所述目标车辆的2D图像进行逆投影，获取所述接地点的坐标信息在3D坐标系下的坐标信息，并根据所述3D坐标系下的坐标信息生成所述目标车辆的鸟瞰图；对所述目标车辆的鸟瞰图进行优化，得到所述目标车辆的空间位置。该方法将神经网络应用于弱监督单目车辆空间位置预测，解决现有技术中仅有障碍物在图像上的位置，自动驾驶技术很难进行决策的技术问题。

Description

一种弱监督单目车辆空间位置预测的方法及装置

技术领域

本发明涉及空间位置预测技术领域，尤其涉及一种弱监督单目车辆空间位置预测的方法及装置。

背景技术

现有技术中，为了实现自动驾驶场景下的单目车辆检测主要为图像2D目标检测方法单目和3D目标检测方法。

其中，图像2D目标检测方法单目是在图像上检测物体，输出物体的2D BoundingBox和类别，且该方法通常采用手工提取特征的方法进行目标检测，但是，手工提取特征的方式往往难以提取物体的高级语义特征，对遮挡检测的能力也不足。伴随着深度学习方法在物体分类任务上的成功，研究者们也开始使用深度神经网络来进行目标检测。

以及，3D目标检测的目标是得到物体在空间中的3D Bounding Box，目前学术界研究方法通常有基于激光雷达的3D目标检测，基于相机图像的3D目标检测，以及混合激光雷达和图像的3D目标检测。在基于相机的3D目标检测中，又分为只使用一个相机的单目3D目标检测和使用多个相机的双目、多目3D目标检测。但是，激光雷达成本极其昂贵，难以大规模使用，同时使用多个相机又涉及到对齐、配准等问题。

因此，单目3D目标检测成为了工业界中廉价好用的技术方案。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种弱监督单目车辆空间位置预测的方法，以实现使用少量三维空间标注信息，训练神经网络RefineNet，大幅优化了物体空间位置推断效果。

本发明的第二个目的在于提出一种弱监督单目车辆空间位置预测的装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种弱监督单目车辆空间位置预测的方法，包括：

获取目标车辆的2D图像，根据预先训练的目标检测网络检测所述目标车辆的接地点的坐标信息；

根据所述接地点的坐标信息，对所述目标车辆的2D图像进行逆投影，获取所述接地点的坐标信息在3D坐标系下的坐标信息，并根据所述3D坐标系下的坐标信息生成所述目标车辆的鸟瞰图；

对所述目标车辆的鸟瞰图进行优化，得到所述目标车辆的空间位置。

可选地，在本申请的一个实施例中，在所述根据预先训练的目标检测网络检测所述目标车辆的接地点的坐标信息之前，还包括：

对用于人体关节检测的检测网络进行修改，修改所述检测网络的关键点输出维数，以得到所述目标检测网络。

可选地，在本申请的一个实施例中，根据所述接地点的坐标信息，对所述目标车辆的2D图像进行逆投影，获取所述接地点的坐标信息在3D坐标系下的坐标信息，包括：

对所述接地点的坐标信息进行去除畸变处理；

使用opencv库函数得到去畸变后的所述接地点的坐标信息p_undistorted，将p_undistorted转化为三维齐次坐标p_{undistorted-homo}，则相机坐标系下的接地点P_camera方向为：

其中，P_camera-line是以相机为原点，向接地点方向发射过去的直线上的点，进而将相机坐标系下的直线P_camera-line转换到车体后轴中心坐标系P_body-line：

得到车体后轴中心坐标系下的接地点直线P_{body-line-homo}后，应用地平面假设获得车体后轴中心坐标系下接地点的精确坐标：P_body。

可选地，在本申请的一个实施例中，对所述目标车辆的鸟瞰图进行优化，得到所述目标车辆的空间位置，包括：

使用3D空间ground truth作为监督信息，训练神经网络RefineNet优化空间位置；

选用MLP神经网络作为所述RefineNet的骨架，输入为逆投影的初始矩形五维张量Rec_origin；

所述五维张量与初始输入Rec_origin逐元素相加，形成残差结构，将结果最后一维rotation再次转化到[-π,π]的范围，得到优化后的五维张量Rec_pred输出。

为达上述目的，本发明第二方面实施例提出了一种弱监督单目车辆空间位置预测的装置，包括：

获取模块，用于获取目标车辆的2D图像，根据预先训练的目标检测网络检测所述目标车辆的接地点的坐标信息；

处理模块，用于根据所述接地点的坐标信息，对所述目标车辆的2D图像进行逆投影，获取所述接地点的坐标信息在3D坐标系下的坐标信息，并根据所述3D坐标系下的坐标信息生成所述目标车辆的鸟瞰图；

优化模块，用于对所述目标车辆的鸟瞰图进行优化，得到所述目标车辆的空间位置。

可选地，本公开的一个实施例中，进一步而言，还包括：

训练模块，还用于对用于人体关节检测的检测网络进行修改，修改所述检测网络的关键点输出维数，以得到所述目标检测网络。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面实施例所述的弱监督单目车辆空间位置预测的方法。

为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的弱监督单目车辆空间位置预测的方法。

本发明实施例的弱监督单目车辆空间位置预测的方法和装置，提出了将关键点调整的自适应接地点位置预测，提升了被遮挡接地点检测效果。该方法可以在得到车辆空间位置后，针对车辆鸟瞰图有一定误差的问题，以及可以仅使用少量三维空间标注信息，通过训练神经网络RefineNet，进行大幅优化物体空间位置推断效果。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种弱监督单目车辆空间位置预测方法的流程图。

图2为直接逆投影推断和使用RefineNet优化后对比数据图。

图3为弱监督车辆空间位置推断流程图。

图4为本发明实施例所提供的一种弱监督单目车辆空间位置预测装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的一种弱监督单目车辆空间位置预测的方法和装置。

图1为本发明实施例所提供的一种弱监督单目车辆空间位置预测的方法的流程图。

如图1所示，该弱监督单目车辆空间位置预测方法包括以下步骤：

步骤S1，获取目标车辆的2D图像，根据预先训练的目标检测网络检测目标车辆的接地点的坐标信息。

在本发明的一个实施例中，根据预先训练的目标检测网络检测目标车辆的接地点的坐标信息之前，还包括：

对用于人体关节检测的检测网络进行修改，修改所述检测网络的关键点输出维数，以得到所述目标检测网络。

具体而言，它是一种简单的anchor-free检测方法，在神经网络中，不显示的设置表示物体框的anchor，而是用物体的中心点表示物体的各个属性，通过物体中心点实现2DBounding Box检测、人体姿态估计、3D Bounding Box检测等多种任务。CenterNet可以在COCO数据集上进行人体关键点检测任务。

其中，在本申请的一个实施例之中，进一步，本发明改进CenterNet，CenterNet对于关键点的输出是直接将物体对应的关键点预测偏移到bottom-up关键点检测网络预测的关键点，考虑到关键点检测网络对于遮挡关键点检测能力较差，本发明采用自适应调整的方式得到最终的关键点输出：

hm_score＝min(max(4hm_confidence-0.3,0.0),1.0)

kps_final＝hm_score×kps_hm+(1-hm_score)×kps_object

上面表达式，hm_confidence是bottom-up关键点检测网络输出的热力图的值，kps_hm是热力图的位置，kps_object是CenterNet输出的每个物体对它的关键点的预测位置。改进后的CenterNet对被遮挡接地点的检测有一定提升。

步骤S2，根据接地点的坐标信息，对目标车辆的2D图像进行逆投影，获取接地点的坐标信息在3D坐标系下的坐标信息，并根据3D坐标系下的坐标信息生成目标车辆的鸟瞰图。

在本公开的一个实施例之中，根据接地点的坐标信息，对目标车辆的2D图像进行逆投影，获取接地点的坐标信息在3D坐标系下的坐标信息，包括：

对所述接地点的坐标信息进行去除畸变处理；

使用opencv库函数得到去畸变后的所述接地点的坐标信息p_undistorted，将p_undistorted转化为三维齐次坐标p_{undistorted-homo}，则相机坐标系下的接地点P_camera方向为：

其中，P_camera-line是以相机为原点，向接地点方向发射过去的直线上的点，进而将相机坐标系下的直线P_camera-line转换到车体后轴中心坐标系P_body-line：

得到车体后轴中心坐标系下的接地点直线P_{body-line-homo}后，应用地平面假设获得车体后轴中心坐标系下接地点的精确坐标：P_body。

上部分得到了车辆接地点鸟瞰图，车辆接地点是四个轮子的位置，理想情况下在鸟瞰图中应该是个矩形。然而，由于在2D前视图中，四个轮子不可能全部被看到，必然有部分轮子被自身或其他车辆遮挡。同时，距离采集车辆较远的目标车在图片上尺寸过小，难以看清轮子接地点的准确位置，这些因素使得许多目标车辆接地点在2D图片上很难精确识别。再逆投影到空间中，就会积累一定的误差，使得车辆的4个接地点呈现不规则四边形。为了优化可视化效果，本发明采用Nelder-Mead算法将车辆鸟瞰图优化成矩形,具体描述请参考步骤S3。

步骤S3，对目标车辆的鸟瞰图进行优化，得到目标车辆的空间位置。

在本公开的一个实施例之中，对目标车辆的鸟瞰图进行优化，得到目标车辆的空间位置，包括：

使用3D空间ground truth作为监督信息，训练神经网络RefineNet优化空间位置；

选用MLP神经网络作为所述RefineNet的骨架，输入为逆投影的初始矩形五维张量Rec_origin；

五维张量与初始输入Rec_origin逐元素相加，形成残差结构，将结果最后一维rotation再次转化到[-π,π]的范围，得到优化后的五维张量Rec_pred输出。

具体而言，在本公开的一个实施例之中，当一个Rec_pred,在训练时，它的groundtruth是该幅图对应的所有标注目标中距离Rec_pred最近的对象Rec_gt。本发明使用L1损失函数来最小化Rec_pred和Rec_gt的误差。

经过优化后，车辆空间位置预测的精度和召回率都大幅提升，考虑预测矩形和ground truth矩形IOU>0.3算作预测正确，直接逆投影推断和使用RefineNet优化后车辆空间位置的精度和召回率如图2所示。

具体而言，本发明整体方法流程图如图3上半部分所示，透明度较低的框是几何优化方法，透明度较高的框是深度学习方法。以及，本发明的效果图如图3下半部分所示，左侧为输入的图片，右侧是输出的汽车空间位置鸟瞰图。每一个黄色矩形代表一个汽车的空间位置。例如，最右侧的小黄色矩形是图片中小轿车的空间位置，中间最大的黄色矩形是图片中大客车的空间位置。

本申请的技术效果：实现了仅利用图像2D标注，完成车辆空间位置推断的弱监督方法。同时在多个步骤进行优化，大幅提升空间位置检测效果。使用本技术方案，可以仅使用廉价的相机，在低标注成本，低采集成本的数据集上训练神经网络，完成车辆空间位置预测。

图4为本发明实施例所提供的一种弱监督单目车辆空间位置预测装置的结构示意图。

如图4所示，该弱监督单目车辆空间位置预测方法包括以下模块：

获取模块，用于获取目标车辆的2D图像，根据预先训练的目标检测网络检测目标车辆的接地点的坐标信息；

处理模块，用于根据接地点的坐标信息，对目标车辆的2D图像进行逆投影，获取接地点的坐标信息在3D坐标系下的坐标信息，并根据3D坐标系下的坐标信息生成目标车辆的鸟瞰图；

优化模块，用于对目标车辆的鸟瞰图进行优化，得到目标车辆的空间位置。

在本申请的一个实施例中，进一步而言，还包括：

训练模块，用于对用于人体关节检测的检测网络进行修改，修改所述检测网络的关键点输出维数，以得到所述目标检测网络。

本申请的优点：实现了仅利用图像2D标注，完成车辆空间位置推断的弱监督方法，提出关键点置信度调整的自适应接地点位置预测，提升被遮挡接地点检测效果，以及提出空间位置推断改进方法，使用少量3D Bounding Box监督信息，大幅提升空间位置检测效果。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，其上存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的一种弱监督单目车辆空间位置预测的方法。

为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的一种弱监督单目车辆空间位置预测的方法。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种弱监督单目车辆空间位置预测的方法，其特征在于，包括以下步骤：

获取目标车辆的2D图像，根据预先训练的目标检测网络检测所述目标车辆的接地点的坐标信息；

根据所述接地点的坐标信息，对所述目标车辆的2D图像进行逆投影，获取所述接地点的坐标信息在3D坐标系下的坐标信息，并根据所述3D坐标系下的坐标信息生成所述目标车辆的鸟瞰图；

对所述目标车辆的鸟瞰图进行优化，得到所述目标车辆的空间位置。

2.根据权利要求1中所述的方法，其特征在于，在所述根据预先训练的目标检测网络检测所述目标车辆的接地点的坐标信息之前，还包括：

对用于人体关节检测的检测网络进行修改，修改所述检测网络的关键点输出维数，以得到所述目标检测网络。

3.根据权利要求1中所述的方法，其特征在于，根据所述接地点的坐标信息，对所述目标车辆的2D图像进行逆投影，获取所述接地点的坐标信息在3D坐标系下的坐标信息，包括：

对所述接地点的坐标信息进行去除畸变处理；

使用opencv库函数得到去畸变后的所述接地点的坐标信息p_undistorted，将p_undistorted转化为三维齐次坐标p_{undistorted-homo}，则相机坐标系下的接地点P_camera方向为：

其中，P_camera-line是以相机为原点，向接地点方向发射过去的直线上的点，进而将相机坐标系下的直线P_camera-line转换到车体后轴中心坐标系P_body-line：

得到车体后轴中心坐标系下的接地点直线P_{body-line-homo}后，应用地平面假设获得车体后轴中心坐标系下接地点的精确坐标：P_body。

4.根据权利要求1中所述的方法，其特征在于，对所述目标车辆的鸟瞰图进行优化，得到所述目标车辆的空间位置，包括：

使用3D空间ground truth作为监督信息，训练神经网络RefineNet优化空间位置；

选用MLP神经网络作为所述RefineNet的骨架，输入为逆投影的初始矩形五维张量Rec_origin；

所述五维张量与初始输入Rec_origin逐元素相加，形成残差结构，将结果最后一维rotation再次转化到[-π，π]的范围，得到优化后的五维张量Rec_pred输出。

5.一种弱监督单目车辆空间位置预测的装置，其特征在于，包括：

获取模块，用于获取目标车辆的2D图像，根据预先训练的目标检测网络检测所述目标车辆的接地点的坐标信息；

处理模块，用于根据所述接地点的坐标信息，对所述目标车辆的2D图像进行逆投影，获取所述接地点的坐标信息在3D坐标系下的坐标信息，并根据所述3D坐标系下的坐标信息生成所述目标车辆的鸟瞰图；

优化模块，用于对所述目标车辆的鸟瞰图进行优化，得到所述目标车辆的空间位置。

6.根据权利要求5中所述的装置，其特征在于，还包括：

训练模块，用于对用于人体关节检测的检测网络进行修改，修改所述检测网络的关键点输出维数，以得到所述目标检测网络。

7.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一所述的方法。

8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。

Images