CN116993817B - 目标车辆的位姿确定方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，公开了目标车辆的位姿确定方法、装置、计算机设备及存储介质，包括：获取目标车辆的单目图像；对单目图像进行车辆检测和图像识别，分别获取目标车辆对应的基准二维检测框和点云集合；根据点云集合确定目标车辆的最小外接矩形框的第一中心点坐标、目标车辆与参考车辆的航向角、目标车辆的长度和宽度；根据第一中心点坐标和航向角确定待优化位姿参数信息；根据点云集合、目标车辆的长度和宽度生成三维模型；根据待优化位姿参数、预设相机外参、基准车辆位姿信息、点云集合、预设点云不确定度、基准二维检测框以及三维模型，构建目标约束方程；将待优化位姿参数信息代入目标约束方程确定目标车辆的位姿信息。

Description

目标车辆的位姿确定方法、装置、计算机设备及存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及目标车辆的位姿确定方法、装置、计算机设备及存储介质。

背景技术

与传统驾驶相同，对车辆运行环境实时感知与定位是自动驾驶系统实施决策和控制的基础。为满足实时性与可靠性要求，自动驾驶车辆通常配备有视觉相机、惯性测量单元（Inertial Measurement Unit，简称IMU）、激光雷达和轮速计等多种传感器。目前比较成熟的实时环境感知技术需要配置有激光雷达或者多个摄像头，但成本比较高昂，而相对低成本的使用单目摄像头进行实时环境感知的技术不够成熟，感知结果不够准确，不能较好的满足自动驾驶的对车辆实时环境感知的要求。

发明内容

有鉴于此，本发明提供了一种目标车辆的位姿确定方法、装置、计算机设备及存储介质，以解决现有技术中单目图像的车辆位姿确定不准确的问题。

第一方面，本发明提供了一种目标车辆的位姿确定方法，包括：

获取目标车辆的单目图像；

对单目图像进行车辆检测，获取目标车辆的基准二维检测框；

对单目图像进行图像识别操作，获取目标车辆对应的点云集合；

根据点云集合确定目标车辆的最小外接矩形框以及最小外接矩形框的参数信息，其中，参数信息包括目标车辆在最小外接矩形框内的第一中心点坐标、目标车辆与参考车辆之间的航向角、目标车辆的长度和目标车辆的宽度；

根据第一中心点坐标和航向角确定目标车辆的待优化位姿参数信息；

根据点云集合、目标车辆的长度和目标车辆的宽度生成目标车辆的三维模型；

根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度、基准二维检测框以及三维模型，构建目标约束方程；

将待优化位姿参数信息代入目标约束方程进行迭代运算，直至确定目标约束方程达到预设标准时结束，获取更新后的位姿参数信息；

根据更新后的位姿参数信息确定目标车辆的位姿信息。

通过上述方式，获取目标车辆的单目图像；对单目图像进行车辆检测，获取目标车辆的基准二维检测框；对单目图像进行图像识别操作，获取目标车辆对应的点云集合；根据点云集合确定目标车辆的最小外接矩形框以及最小外接矩形框的参数信息，其中，参数信息包括目标车辆在最小外接矩形框内的第一中心点坐标、目标车辆与参考车辆之间的航向角、目标车辆的长度和目标车辆的宽度；根据第一中心点坐标和航向角确定目标车辆的待优化位姿参数信息；根据点云集合、目标车辆的长度和目标车辆的宽度生成目标车辆的三维模型；根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度、基准二维检测框以及三维模型，构建目标约束方程；将待优化位姿参数信息代入目标约束方程进行迭代运算，直至确定目标约束方程达到预设标准时结束，获取更新后的位姿参数信息；根据更新后的位姿参数信息确定目标车辆的位姿信息。根据单目图像的进行图像识别后获取的点云初步确定环境车辆的位姿信息，并确定待优化的位姿参数，然后通过预构建的目标约束方程对待优化的参数信息进行迭代优化，获取更为准确的车辆位姿，只通过目标车辆的单目图像就可以获取较为准确的车辆位姿，相比于基于2D的车辆目标检测算法，本发明的方法可以提供较为准确的车辆在真实三维空间中的姿态位置信息。与现有基于视觉的3D车辆目标检测方法相比，本发明无需复杂的神经网络先验模型预测，利用自身的运动信息和约束方程，可在中高算力平台部署并实现较快的检测速度，无需造价昂贵的激光雷达，即可实现低成本、较高精度的车辆位姿检测。

在一种可选的实施方式中，对单目图像进行图像识别操作，获取目标车辆对应的点云集合，包括：

对单目图像进行图像识别操作，获取单目图像中每个像素的像素类别和深度估计信息；

从单目图像的所有像素中筛选出像素类别为车辆的像素构成像素集合；

根据像素集合中像素的像素坐标和深度估计信息，生成目标车辆对应的点云集合。

通过上述方式，对单目图像进行图像识别操作，获取每一个像素的像素类别和深度估计信息，根据像素类别为车辆的像素集合和集合中每一个像素的深度估计信息生成目标车辆的点云集合，可以利用单目图像获取到目标车辆的点云集合。

在一种可选的实施方式中，根据点云集合确定目标车辆的最小外接矩形框以及最小外接矩形框的参数信息，包括：

将点云集合在预设平面进行投影，获取投影图像，投影图像中包括点云投影数据；

将预设平面进行网格划分，并统计每一个网格中的点云投影数据的数量；

根据每一个网格的点云投影数据的数量确定目标车辆对应的最小外接矩形框，并提取最小外接矩形框的参数信息。

在一种可选的实施方式中，根据每一个网格的点云投影数据的数量确定目标车辆对应的最小外接矩形框，并提取最小外接矩形框的参数信息，包括：

根据第一网格的点云投影数据的数量对第一网格进行二值化处理，其中，第一网格为所有的网格中任一个网格；

将所有的二值化处理结果为1的网格构成目标车辆的二维轮廓；

对二维轮廓进行拟合操作，获取目标车辆对应的最小外接矩形框，并提取最小外接矩形框的参数信息。

通过上述方式，可以通过对点云进行投影，并在投影平面划分网格，根据每一个网格内的点云投影数据的数量确定目标车辆对应的最小外接矩框，可以较为准确的提取到车辆的轮廓，进而通过车辆的轮廓拟合出目标车辆的最小外接矩形框。

在一种可选的实施方式中，根据点云集合、目标车辆的长度和目标车辆的宽度生成目标车辆的三维模型，包括：

根据点云集合每一个点云的预设维度坐标确定目标车辆的高度信息；

根据目标车辆的长度、目标车辆的宽度和目标车辆的高度信息生成目标车辆的三维模型。

通过上述方式，可以根据车辆的点云确定车辆的高度信息，进而根据车辆的长、宽和高生成目标车辆的三维模型。

在一种可选的实施方式中，根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度以及三维模型，构建目标约束方程，包括：

根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度以及三维模型，构建第一约束方程；

将三维模型进行投影，获取目标车辆的二维轮廓；

根据二维轮廓和基准二维检测框构建第二约束方程；

根据第一约束方程和第二约束方程构建目标约束方程。

通过上述方式，通过构建第一约束方程和第二约束方程，可以从三维层面和二维层面分别对待优化参数进行迭代优化，使迭代后的待优化的参数更加准确。

在一种可选的实施方式中，将三维模型进行投影，获取目标车辆的二维轮廓，包括：

将三维模型根据待优化位姿参数进行投影，获取投影图像；

从投影图像的所有像素点中筛选出第一目标像素点和第二目标像素点，第一目标像素点和第二目标像素点分别为投影图像中斜对角的顶点；

根据第一目标像素点的坐标和第二目标像素点的坐标确定投影图像对应的第二中心点坐标和尺寸信息；

根据第二中心点坐标和尺寸信息确定目标车辆的二维轮廓。

通过上述方式，将三维模型进行投影，根据投影图像的参数信息可以确定目标车辆的二维轮廓。

第二方面，本发明提供了一种目标车辆的位姿确定装置，包括：

获取模块，用于获取目标车辆的单目图像；

车辆检测模块，用于对单目图像进行车辆检测，获取目标车辆的基准二维检测框；

图像识别模块，用于对单目图像进行图像识别操作，获取目标车辆对应的点云集合；

第一确定模块，用于根据点云集合确定目标车辆的最小外接矩形框以及最小外接矩形框的参数信息，其中，参数信息包括目标车辆在最小外接矩形框内的第一中心点坐标、目标车辆与参考车辆之间的航向角、目标车辆的长度和目标车辆的宽度；

第二确定模块，用于根据第一中心点坐标和航向角确定目标车辆的待优化位姿参数信息；

生成模块，用于根据点云集合、目标车辆的长度和目标车辆的宽度生成目标车辆的三维模型；

构建模块，用于根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度、基准二维检测框以及三维模型，构建目标约束方程；

迭代运算模块，用于将待优化位姿参数信息代入目标约束方程进行迭代运算，直至确定目标约束方程达到预设标准时结束，获取更新后的位姿参数信息；

第三确定模块，用于根据更新后的位姿参数信息确定目标车辆的位姿信息。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的目标车辆的位姿确定方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的目标车辆的位姿确定方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的目标车辆的位姿确定方法的流程示意图；

图2是根据本发明实施例的点云集合的生成方法的流程示意图；

图3是根据本发明实施例的最小外接矩形框的参数确定方法的流程示意图；

图4是根据本发明实施例的最小外接矩形框的示意图；

图5是根据本发明实施例的目标约束方程的构建方法的流程示意图；

图6是根据本发明实施例的目标车辆的位姿确定装置的结构框图；

图7是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

自动驾驶技术(也称无人驾驶技术)是指车辆（或其他运载工具）在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。自动驾驶技术是多个技术的集成，主要包括实时感知与定位、运动路径规划、通信与数据交互、车辆智能控制等技术。

自动驾驶技术是当今世界最具潜力之一的技术。自动驾驶技术的普及有利于减少整体交通事故，也会驱使生产力与能源效率获得改善，并会出现新的商业模式。与传统驾驶相同，对车辆运行环境实时感知与定位是自动驾驶系统实施决策和控制的基础。环境感知主要包括三个方面，路面、静态物体和动态物体，其中动静态车辆的检测是自动驾驶感知过程的核心问题之一，与自动驾驶的避障绕行等功能的实现尤为相关。精确且稳定的车辆检测是一项极具挑战性的技术，该技术已受到学术界和工业界的重点关注。

为满足实时性与可靠性要求，自动驾驶车辆通常配备有视觉相机、惯性测量单元（IMU）、激光雷达和轮速计等多种传感器。其中，相机能够感知的外界信息最为丰富，如车辆周边景物的色彩、结构、纹理以及一些语义信息（如：道路、行人、交通标识等），因此视觉相机是自动驾驶车辆通常的基本配置。但激光雷达和视觉相机本身成本较高，而基于单个摄像头采集的单目图像的运行环境实时感知技术目前不够成熟，而且单目图像清晰度偏低，更加造成识别结果不准确，无法较好的满足自动驾驶领域对车辆运行环境实时感知与定位的需求。

基于此，根据本发明实施例，提供了一种目标车辆的位姿确定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种目标车辆的位姿确定方法，可用于上述的计算机设备，图1是根据本发明实施例的目标车辆的位姿确定方法的流程图，如图1所示，该流程包括如下步骤：

步骤S101，获取目标车辆的单目图像。

具体的，可以在自身车辆运行中，利用单目摄像头获取目标车辆的单目图像，目标车辆指自身车辆运行时环境中的车辆。

在一个可选的例子中，单目图像可以是彩色单目图像。

步骤S102，对单目图像进行车辆检测，获取目标车辆的基准二维检测框。

具体的，利用车辆检测技术例如车辆跟踪等技术，对单目图像进行车辆检测，获取目标车辆的基准二维检测框。

步骤S103，对单目图像进行图像识别操作，获取目标车辆对应的点云集合。

具体的，可以利用现有的深度学习技术将获取的单目图片数据进行处理，得到图像中的目标车辆，和目标车辆中每一个像素的深度估计信息，进而根据目标车辆的像素坐标和深度估计信息生成目标车辆对应的点云集合。

步骤S104，根据点云集合确定目标车辆的最小外接矩形框以及最小外接矩形框的参数信息。

具体的，参数信息包括目标车辆在最小外接矩形框内的第一中心点坐标、目标车辆与参考车辆之间的航向角、目标车辆的长度和目标车辆的宽度。参考车辆可以为自身车辆，也即是采集单目图像的车辆，在获取最小外接矩形框时，可以对点云集合进行投影，获取二维投影数据，对二维投影数据进行拟合，获取目标车辆的最小外接矩形框。在投影平面内确定坐标系，在该坐标系下确定最小外接矩形框的中心点坐标也即是第一中心点坐标，确定目标车辆的行驶方向和自身车辆行驶方向的夹角为航向角，最小外接矩形框的长为目标车辆的长，最小外接矩形框的宽为目标车辆的宽。

步骤S105，根据第一中心点坐标和航向角确定目标车辆的待优化位姿参数信息。

具体的，将第一中心点坐标和航向角作为待优化的目标参数，利用第一中心点坐标和航向角构建车辆位姿方程，车辆位姿方程中的第一中心点坐标和航向角即为待优化位姿参数信息。

在一个可选的例子中，设待优化参数为，其中，/>为目标车辆与自身车辆之间的航向角，/>为世界坐标系下第一中心点的坐标，/>为三维实数集合。

步骤S106，根据点云集合、目标车辆的长度和目标车辆的宽度生成目标车辆的三维模型。

具体的，根据目标车辆的点云集合中每一个像素的深度信息，利用基于点云的高度检测技术可以确定车辆的高度信息，结合目标车辆的长度和宽度可以得到目标车辆的长、宽和高，进而利用车辆的长、宽和高生成目标车辆的三维模型。

需要说明的是，步骤S105和步骤S106虽然有标号顺序，只是为了方便描述，在实际执行时，可以不按照标号顺序执行，在此对步骤S105和步骤S106的顺序不做限定。

步骤S107，根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度、基准二维检测框以及三维模型，构建目标约束方程。

具体的，例如可以根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度、基准二维检测框以及三维模型，利用多视图几何关系构建目标约束方程，用于优化待优化位姿参数。

步骤S108，将待优化位姿参数信息代入目标约束方程进行迭代运算，直至确定目标约束方程达到预设标准时结束，获取更新后的位姿参数信息。

具体的，例如可以利用最小二乘迭代优化策略，不断调整待优化的位姿参数信息，每一次调整就是一个迭代周期，将每一个迭代周期对应的位姿参数代入目标约束方程，直至目标约束方程达到收敛状态或者迭代至预设次数时结束，获取最优的位姿参数信息作为更新后的位姿参数信息。

步骤S109，根据更新后的位姿参数信息确定目标车辆的位姿信息。

具体的，将更新后的位姿参数信息输入预设车辆位姿方程，即可确定目标车辆的位姿信息，包括实时位置和姿态信息。

通过上述方式，获取目标车辆的单目图像；对单目图像进行车辆检测，获取目标车辆的基准二维检测框；对单目图像进行图像识别操作，获取目标车辆对应的点云集合；根据点云集合确定目标车辆的最小外接矩形框以及最小外接矩形框的参数信息，其中，参数信息包括目标车辆在最小外接矩形框内的第一中心点坐标、目标车辆与参考车辆之间的航向角、目标车辆的长度和目标车辆的宽度；根据第一中心点坐标和航向角确定目标车辆的待优化位姿参数信息；根据点云集合、目标车辆的长度和目标车辆的宽度生成目标车辆的三维模型；根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度、基准二维检测框以及三维模型，构建目标约束方程；将待优化位姿参数信息代入目标约束方程进行迭代运算，直至确定目标约束方程达到预设标准时结束，获取更新后的位姿参数信息；根据更新后的位姿参数信息确定目标车辆的位姿信息。根据单目图像的进行图像识别后获取的点云初步确定环境车辆的位姿信息，并确定待优化的位姿参数，然后通过预构建的目标约束方程对待优化的参数信息进行迭代优化，获取更为准确的车辆位姿，只通过目标车辆的单目图像就可以获取较为准确的车辆位姿，相比于基于2D的车辆目标检测算法，本发明的方法可以提供较为准确的车辆在真实三维空间中的姿态位置信息。与现有基于视觉的3D车辆目标检测方法相比，本发明无需复杂的神经网络先验模型预测，利用自身的运动信息和约束方程，可在中高算力平台部署并实现较快的检测速度，无需造价昂贵的激光雷达，即可实现低成本、高精度的车辆位姿检测。

在一种可选的实施方式中，对单目图像进行图像识别操作，获取目标车辆对应的点云集合，包括如图2所示的方法步骤：

步骤S201，对单目图像进行图像识别操作，获取单目图像中每个像素的像素类别和深度估计信息。

具体的，利用图像识别技术，例如利用预训练的语义分割模型，对单目图像进行像素分割，获取每个像素的像素类别，利用预训练的深度估计模型对单目图像进行深度估计，获取每一个像素的深度估计信息。

在一个可选的例子中，例如对彩色单目图像进行语义分割，得到实例语义分割信息，和每个像素对应的深度估计信息/>，根据/>可以提取出车辆的示例信息/>，k为k个车辆，即在图像中有多个车辆时，可以提取多个车辆的实例信息。

步骤S202，从单目图像的所有像素中筛选出像素类别为车辆的像素构成像素集合。

具体的，单目图像中所有像素为车辆的像素，可以是像素类别代表车辆的像素或者像素类别为车辆的像素，利用筛选出的像素构成像素集合。

在一个可选的例子中，如果图像中有多个车辆，分别筛选出与每个车辆分别对应的像素集合，下文中以一个车辆为例进行说明。

步骤S203，根据像素集合中像素的像素坐标和深度估计信息，生成目标车辆对应的点云集合。

具体的，像素集合中的像素坐标UV（U和V分别是图片在显示器水平、垂直方向上的坐标）和像素的深度估计信息生成深度图像，利用深度图像中的每一个像素生成点云集合，例如可以使用open3D库将深度图像转换为点云集合，点云集合可以用表示。

通过上述方式，对单目图像进行图像识别操作，获取每一个像素的像素类别和深度估计信息，根据像素类别为车辆的像素集合和像素集合中每一个像素的深度估计信息生成目标车辆的点云集合，可以利用单目图像获取到目标车辆的点云集合。

在一种可选的实施方式中，根据点云集合确定目标车辆的最小外接矩形框以及最小外接矩形框的参数信息，包括如图3所示的方法步骤：

步骤S301，将点云集合在预设平面进行投影，获取投影图像，投影图像中包括点云投影数据。

步骤S302，将预设平面进行网格划分，并统计每一个网格中的点云投影数据的数量。

具体的，例如可以将点云集合在地平面进行投影，得到点云在地平面上的点云投影数据。将地平面进行网格划分，统计落在每一个网格中的点云投影数据的数量。

在一个可选的例子中，例如在地平面15米乘15米的范围内进行投影，将该区域划分为每个网格的边长为10厘米的正方形网格，统计落到每一个网格中的点云投影数据的数量，得到车辆的点云投影数据占据的栅格地图。

步骤S303，根据每一个网格的点云投影数据的数量确定目标车辆对应的最小外接矩形框，并提取最小外接矩形框的参数信息。

具体的，可以设定点云投影数据的数量阈值，根据每一个网格的点云投影数据的数量和该数量阈值确定目标车辆的轮廓，进而根据轮廓提取与目标车辆对应的最小外接矩形框的参数信息。

在一种可选的实施方式中，上述步骤S303，包括：

步骤a1，根据第一网格的点云投影数据的数量对第一网格进行二值化处理。

具体的，第一网格为所有的网格中任一个网格。例如可以将网格中点云数据的数量大于阈值5的网格状态设置为1，其余设置为0，具体的阈值可以根据实际情况进行设定即可。

步骤a2，将所有的二值化处理结果为1的网格构成目标车辆的二维轮廓。

具体的，例如可以对二值化处理结果为1的网格集合计算2D凸包，2D凸包的边缘即为目标车辆的二维轮廓。

在一个可选的例子中，例如对栅格地图中的车辆计算2D凸包，得到目标车辆的二维轮廓。

在一个可选的例子中，也可以将所有0和1网格的分界线作为目标车辆的二维轮廓。

步骤a3，对二维轮廓进行拟合操作，获取目标车辆对应的最小外接矩形框，并提取最小外接矩形框的参数信息。

具体的，对二维轮廓进行拟合，获取到目标车辆对应的最小外接矩形框，并提取最小外接矩形框的参数信息。

在一个可选的例子中，拟合后的最小外接矩形框如图4所示，L为目标车辆的长，W为目标车辆的宽，Center为目标车辆的中心点坐标，还可以获取其他的参数信息，例如车辆的航向等。

在一个可选的例子中，目标车辆的最小外接矩形框的参数信息可以表示为，其中，/>为目标车辆的最小外接矩形框，/>为目标车辆的航向角，为目标车辆的行驶方向与自身车辆行驶方向的夹角，l为最小外接矩形框的长，w为最小外接矩形框的宽。

通过上述方式，可以通过对点云进行投影，并在投影平面划分网格，根据每一个网格内的点云投影数据的数量确定目标车辆对应的最小外接矩框，可以较为准确的提取到车辆的轮廓，进而通过车辆的轮廓拟合出车辆的最小外接矩形框。

在一种可选的实施方式中，根据点云集合、目标车辆的长度和目标车辆的宽度生成目标车辆的三维模型，包括：

步骤b1，根据点云集合每一个点云的预设维度坐标确定目标车辆的高度信息。

具体的，预设维度坐标可以为Z轴的坐标，代表每一个点云的高度。

在一个可选的例子中，例如可以根据所有点云的高度的平均值确定目标车辆的高度信息。

步骤b2，根据目标车辆的长度、目标车辆的宽度和目标车辆的高度信息生成目标车辆的三维模型。

具体的，根据目标车辆的长度、宽度和高度信息生成目标车辆的三维模型。

在一种可选的实施方式中，根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度以及三维模型，构建目标约束方程，包括如图5所示的方法步骤：

步骤S501，根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度以及三维模型，构建第一约束方程。

具体的，如上文所述，待优化位姿参数为目标车辆的中心点坐标和航向角，表示为为三维实数集合，/>为航向角，/>目标车辆的中心点坐标。预设相机外参为相机相对于世界坐标系下的外参，可以通过相机标定得到，基准车辆位姿信息为自身车辆位姿，可以通过自身车辆的定位信息得到，预设点云不确定度可以为根据经验给定的不确定度值，第一约束方程具体可以通过如下公式确定：

其中，为车辆的三维模型与目标车辆点云的第一约束方程，/>为车辆位姿，根据根据待优化的位姿参数信息得到，/>为相机外参，/>是自身车辆的车辆位姿信息，/>为目标车辆的点云在世界坐标系下的表达，/>是深度估计的点云不确定度，/>为车辆的三维模型。其中，/>是所求环境目标车辆位姿，为目标车辆相对于自身车辆的旋转矩阵，表示目标车辆在世界坐标系下的位移，/>为目标车辆与自身车辆之间的航向角，/>为世界坐标系下第一中心点的坐标，/>表示目标车辆三维模型的长宽高，/>为三维模型的长，/>为三维模型的宽，/>为三维模型的高，/>表示目标车辆上每一个点分别与三维模型的中心点的距离差值。

步骤S502，将三维模型进行投影，获取目标车辆的二维轮廓。

具体的，将三维模型在预设方向进行投影，例如从三维模型的上方或者下方进行投影，获取目标车辆的二维轮廓。

在一种可选的实施方式中，上述步骤S502，具体包括：

步骤c1，将三维模型根据待优化位姿参数进行投影，获取投影图像。

具体的，待优化位姿参数代表目标车辆的待优化位姿，根据预设定的相机投影函数对待优化的车辆位姿状态的目标车辆进行投影，获取投影图像，投影图像的像素集合为，表示投影图像上的每个像素坐标。

步骤c2，从投影图像的所有像素点中筛选出第一目标像素点和第二目标像素点。

具体的，第一目标像素点和第二目标像素点分别为投影图像中斜对角的顶点。

在一个可选的例子中，可以通过如下方式确定左上角和右下角的两个顶点：

其中，为左上角的顶点即第一目标像素点，/>是相机投影函数，/>是所求环境目标车辆位姿，/>表示目标车辆三维模型的长宽高，根据相机内参可把相机坐标系下的点投影到像素平面上。

为右下角的顶点即第二目标像素点，max{}为取元素中最大的值。

需要说明的是，根据类似的方式，也可以确定右上角和左下角的两个顶点，分别作为第一目标像素点和第二目标像素点。

步骤c3，根据第一目标像素点的坐标和第二目标像素点的坐标确定投影图像对应的第二中心点坐标和尺寸信息。

具体的，将第一目标像素点和第二目标像素点的连线的中点作为第二中心点，确定其坐标，根据第二中心点和两个顶点，即可确定二维轮廓的尺寸信息。

可选的，第二中心点坐标可以通过如下方式确定：

其中，为第二中心点坐标，/>是投影图像的像素集合。

是二维轮廓的长、宽，/>为二维实数集合。

步骤c4，根据第二中心点坐标和尺寸信息确定目标车辆的二维轮廓。

具体的，目标车辆的二维轮廓即为。

步骤S503，根据二维轮廓和基准二维检测框构建第二约束方程。

具体的，根据二维轮廓和基准二维检测框构建第二约束方程，基准二维检测框可以通过车辆检测技术获取，第二约束方程可以通过如下公式确定：

其中，是目标车辆的第二约束方程，表示由三维模型变换得到的二维轮廓与基准二维检测框的约束方程，/>是三维模型根据几何关系得到的二维轮廓，如上的，可以通过三维模型投影计算得到，/>为四维实数集合。/>表示基准二维检测框。/>是二维轮廓在世界坐标系下的中心点坐标，/>是二维轮廓的长、宽，/>为二维实数集合。

步骤S504，根据第一约束方程和第二约束方程构建目标约束方程。

具体的，综合第一约束方程和第二约束方程，构建目标约束方程，可以用如下公式表示：

其中，1和/>为设定的自适应系数。得到该目标约束方程后，可以通过最小二乘迭代优化策略得到调整后的目标位姿/>和/>，进而确定较为准确的目标车辆的位姿信息。

在本实施例中还提供了一种目标车辆的位姿确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种目标车辆的位姿确定装置，如图6所示，包括：

获取模块601，用于获取目标车辆的单目图像；

车辆检测模块602，用于对单目图像进行车辆检测，获取目标车辆的基准二维检测框；

图像识别模块603，用于对单目图像进行图像识别操作，获取目标车辆对应的点云集合；

第一确定模块604，用于根据点云集合确定目标车辆的最小外接矩形框以及最小外接矩形框的参数信息，其中，参数信息包括目标车辆在最小外接矩形框内的第一中心点坐标、目标车辆与参考车辆之间的航向角、目标车辆的长度和目标车辆的宽度；

第二确定模块605，用于根据第一中心点坐标和航向角确定目标车辆的待优化位姿参数信息；

生成模块606，用于根据点云集合、目标车辆的长度和目标车辆的宽度生成目标车辆的三维模型；

构建模块607，用于根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度、基准二维检测框以及三维模型，构建目标约束方程；

迭代运算模块608，用于将待优化位姿参数信息代入目标约束方程进行迭代运算，直至确定目标约束方程达到预设标准时结束，获取更新后的位姿参数信息；

第三确定模块609，用于根据更新后的位姿参数信息确定目标车辆的位姿信息。

在一些可选的实施方式中，车辆检测模块602，包括：

图像识别单元，用于对单目图像进行图像识别操作，获取单目图像中每个像素的像素类别和深度估计信息；

筛选单元，用于从单目图像的所有像素中筛选出像素类别为车辆的像素构成像素集合；

生成单元，用于根据像素集合中像素的像素坐标和深度估计信息，生成目标车辆对应的点云集合。

在一些可选的实施方式中，第一确定模块604，包括：

投影单元，用于将点云集合在预设平面进行投影，获取投影图像，投影图像中包括点云投影数据；

网格划分单元，用于将预设平面进行网格划分，并统计每一个网格中的点云投影数据的数量；

提取单元，用于根据每一个网格的点云投影数据的数量确定目标车辆对应的最小外接矩形框，并提取最小外接矩形框的参数信息。

在一些可选的实施方式中，提取子单元，具体用于：

二值化子单元，用于根据第一网格的点云投影数据的数量对第一网格进行二值化处理，其中，第一网格为所有的网格中任一个网格；

构成子单元，用于将所有的二值化处理结果为1的网格构成目标车辆的二维轮廓；

拟合子单元，用于对二维轮廓进行拟合操作，获取目标车辆对应的最小外接矩形框，并提取最小外接矩形框的参数信息。

在一些可选的实施方式中，生成模块606，包括：

确定单元，用于根据点云集合每一个点云的预设维度坐标确定目标车辆的高度信息；

生成单元，还用于根据目标车辆的长度、目标车辆的宽度和目标车辆的高度信息生成目标车辆的三维模型。

在一些可选的实施方式中，构建模块607，包括：

第一构建单元，用于根据待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、点云集合、预设点云不确定度以及三维模型，构建第一约束方程；

投影单元，还用于将三维模型进行投影，获取目标车辆的二维轮廓；

第二构建单元，用于根据二维轮廓和基准二维检测框构建第二约束方程；

第三构建单元，用于根据第一约束方程和第二约束方程构建目标约束方程。

在一些可选的实施方式中，投影单元，具体用于：

将三维模型根据待优化位姿参数进行投影，获取投影图像；

从投影图像的所有像素点中筛选出第一目标像素点和第二目标像素点，第一目标像素点和第二目标像素点分别为投影图像中斜对角的顶点；

根据第一目标像素点的坐标和第二目标像素点的坐标确定投影图像对应的第二中心点坐标和尺寸信息；

根据第二中心点坐标和尺寸信息确定目标车辆的二维轮廓。

上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本实施例中的目标车辆的位姿确定装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

本发明实施例还提供一种计算机设备，具有上述图6所示的目标车辆的位姿确定装置。

请参阅图7，图7是本发明可选实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置20可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种目标车辆的位姿确定方法，其特征在于，所述方法包括：

获取目标车辆的单目图像；

对所述单目图像进行车辆检测，获取所述目标车辆的基准二维检测框；

对所述单目图像进行图像识别操作，获取所述目标车辆对应的点云集合；

根据所述点云集合确定所述目标车辆的最小外接矩形框以及所述最小外接矩形框的参数信息，其中，所述参数信息包括所述目标车辆在所述最小外接矩形框内的第一中心点坐标、所述目标车辆与参考车辆之间的航向角、所述目标车辆的长度和所述目标车辆的宽度；

根据所述第一中心点坐标和所述航向角确定所述目标车辆的待优化位姿参数信息；

根据所述点云集合、所述目标车辆的长度和所述目标车辆的宽度生成所述目标车辆的三维模型；

根据所述待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、所述点云集合、预设点云不确定度、所述基准二维检测框以及所述三维模型，构建目标约束方程；

将所述待优化位姿参数信息代入所述目标约束方程进行迭代运算，直至确定所述目标约束方程达到预设标准时结束，获取更新后的位姿参数信息；

根据所述更新后的位姿参数信息确定所述目标车辆的位姿信息。

2.根据权利要求1所述的方法，其特征在于，所述对所述单目图像进行图像识别操作，获取所述目标车辆对应的点云集合，包括：

对所述单目图像进行图像识别操作，获取所述单目图像中每个像素的像素类别和深度估计信息；

从所述单目图像的所有像素中筛选出所述像素类别为车辆的像素构成像素集合；

根据所述像素集合中像素的像素坐标和深度估计信息，生成所述目标车辆对应的点云集合。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述点云集合确定所述目标车辆的最小外接矩形框以及所述最小外接矩形框的参数信息，包括：

将所述点云集合在预设平面进行投影，获取投影图像，所述投影图像中包括点云投影数据；

将所述预设平面进行网格划分，并统计每一个网格中的点云投影数据的数量；

根据每一个所述网格的点云投影数据的数量确定所述目标车辆对应的最小外接矩形框，并提取所述最小外接矩形框的参数信息。

4.根据权利要求3所述的方法，其特征在于，所述根据每一个所述网格的点云投影数据的数量确定所述目标车辆对应的最小外接矩形框，并提取所述最小外接矩形框的参数信息，包括：

根据第一网格的点云投影数据的数量对所述第一网格进行二值化处理，其中，所述第一网格为所有的网格中任一个网格；

将所有的二值化处理结果为1的网格构成所述目标车辆的二维轮廓；

对所述二维轮廓进行拟合操作，获取所述目标车辆对应的最小外接矩形框，并提取所述最小外接矩形框的参数信息。

5.根据权利要求1或2或4所述的方法，其特征在于，所述根据所述点云集合、所述目标车辆的长度和所述目标车辆的宽度生成所述目标车辆的三维模型，包括：

根据所述点云集合每一个点云的预设维度坐标确定所述目标车辆的高度信息；

根据所述目标车辆的长度、所述目标车辆的宽度和所述目标车辆的高度信息生成所述目标车辆的三维模型。

6.根据权利要求1或2或4所述的方法，其特征在于，所述根据所述待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、所述点云集合、预设点云不确定度以及所述三维模型，构建目标约束方程，包括：

根据所述待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、所述点云集合、预设点云不确定度以及所述三维模型，构建第一约束方程；

将所述三维模型进行投影，获取所述目标车辆的二维轮廓；

根据所述二维轮廓和所述基准二维检测框构建第二约束方程；

根据所述第一约束方程和所述第二约束方程构建所述目标约束方程。

7.根据权利要求6所述的方法，其特征在于，所述将所述三维模型进行投影，获取所述目标车辆的二维轮廓，包括：

将所述三维模型根据待优化位姿参数进行投影，获取投影图像；

从所述投影图像的所有像素点中筛选出第一目标像素点和第二目标像素点，所述第一目标像素点和所述第二目标像素点分别为所述投影图像中斜对角的顶点；

根据所述第一目标像素点的坐标和所述第二目标像素点的坐标确定所述投影图像对应的第二中心点坐标和尺寸信息；

根据所述第二中心点坐标和所述尺寸信息确定所述目标车辆的二维轮廓。

8.一种目标车辆的位姿确定装置，其特征在于，所述装置包括：

获取模块，用于获取目标车辆的单目图像；

车辆检测模块，用于对所述单目图像进行车辆检测，获取所述目标车辆的基准二维检测框；

图像识别模块，用于对所述单目图像进行图像识别操作，获取所述目标车辆对应的点云集合；

第一确定模块，用于根据所述点云集合确定所述目标车辆的最小外接矩形框以及所述最小外接矩形框的参数信息，其中，所述参数信息包括所述目标车辆在所述最小外接矩形框内的第一中心点坐标、所述目标车辆与参考车辆之间的航向角、所述目标车辆的长度和所述目标车辆的宽度；

第二确定模块，用于根据所述第一中心点坐标和所述航向角确定所述目标车辆的待优化位姿参数信息；

生成模块，用于根据所述点云集合、所述目标车辆的长度和所述目标车辆的宽度生成所述目标车辆的三维模型；

构建模块，用于根据所述待优化位姿参数、预设相机外参、实时获取的基准车辆位姿信息、所述点云集合、预设点云不确定度、所述基准二维检测框以及所述三维模型，构建目标约束方程；

迭代运算模块，用于将所述待优化位姿参数信息代入所述目标约束方程进行迭代运算，直至确定所述目标约束方程达到预设标准时结束，获取更新后的位姿参数信息；

第三确定模块，用于根据所述更新后的位姿参数信息确定所述目标车辆的位姿信息。

9.一种计算机设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的目标车辆的位姿确定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的目标车辆的位姿确定方法。