CN112762824B - 一种无人车定位方法及系统 - Google Patents

Abstract

本发明公开了一种无人车定位方法及系统，使用车载激光雷达传感器建立环境的离线点云地图；获取无人车实时点云；使用深度网络分别提取先验点云地图和实时点云的深度特征；根据离线点云地图和实时点云的特征相似性进行匹配，确定无人车当前所处离线点云地图中的位置；对无人车轨迹平滑处理，矫正定位结果。本发明可以使用深度网络提取深度特征代替手工提取特征，提高无人车自身定位的精确性和稳定性。

Description

一种无人车定位方法及系统

技术领域

本发明涉及无人车定位领域，特别是一种无人车定位方法及系统。

背景技术

无人车定位是无人车技术研究中的核心问题之一，也是实现自动驾驶功能中的基础环节之一。最初，一般的定位方案采用全球导航卫星系统GNSS，其缺点是定位结果精度低且不稳定，目前无人车领域常用的定位方案中一般使用GNSS，惯性导航系统及激光点云定位系统的组合定位技术。其中，GNSS提供一定可信度的基于地球坐标系的无人车初始粗略位置信息(经度，纬度及海拔)，惯性导航系统提供基于地图坐标系的无人车初始信息，包括位置信息(x，y，z)以及姿态角(翻滚角roll、俯仰角pitch和偏航角yaw)，根据坐标转换关系将GNSS转换为地图坐标，并与惯性导航系统提供的信息融合，采用激光点云定位系统对融合后信息进行优化。

在激光点云定位系统中，现有技术在先验点云地图与无人车实时点云的配准中，一般使用基于激光点坐标的配准或者基于简单几何特征(线，面)的配准。

使用激光点坐标配准缺点是激光点云具有稀疏性，先验点云地图和无人车实时点云很可能无法扫描到同一位置，导致同一环境的点云存在偏差，导致错误的配准结果。以及异常扫描点也会影响配准结果。

使用简单特征的配准只提取点云中的特征进行配准，在一定程度上改善了点云稀疏性的问题，但也存在一定问题。例如环境较为复杂时，简单的几何特征不足以稳定表示环境，也会存在提取的特征偏差较大，导致配准误差大。

因此，激光点云定位系统中，现有技术中基于激光点坐标的配准或者基于简单几何特征的配准不是较好的解决方案。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种无人车定位方法及系统，提高定位精度。

为解决上述技术问题，本发明所采用的技术方案是：一种无人车定位方法，包括以下步骤：

S1、提取先验点云地图和无人车实时点云的深度特征；

S2、根据先验点云地图和无人车实时点云的深度特征相似度，完成无人车实时点云与先验点云间的点云配准，得到实时点云相对先验点云地图的转换关系，此转换关系即为所述无人车在先验点云地图中的位置。本发明的深度特征为经过深度网络提取的高维点云特征，可以更加精确地描述无人车所处环境，使先验点云地图和无人车实时点云的深度特征相似度计算更加准确，进而得到更加准确的实时点云坐标系到先验点云地图坐标系的转换关系，使无人车定位更加准确。

步骤S1中，利用深度网络提取先验点云地图和无人车实时点云的深度特征，具体实现过程包括：以先验点云地图和无人车实时点云中每个点为中心点构建邻域，通过每个邻域点云特征，提取各邻域中心点的深度特征。

通过邻域点云提取其中心点的特征可以使所述中心点带有更多邻域信息，而非只针对该点的特征，其优势是在特征匹配时，前者是局部与局部的匹配，后者是点与点的匹配，而局部特征更加稳定，不易受个别异常点的影响。因此本发明的特征匹配成功率更高。

通过每个邻域点云特征，提取各邻域中心点的深度特征的具体实现过程包括：构建多层卷积层，通过所构建卷积层对先验点云地图和无人车实时点云做卷积处理，获得所述邻域的高维度点云特征；通过池化层将邻域内的高维度点云特征聚集到该邻域的中心点，并通过激活函数从所述深度网络中得到所述中心点的深度特征。先验点云地图和无人车实时点云所包含的点一般为低维度点云特征，如三维特征(包含xyz三维坐标)或者四维特征(包含xyz三维坐标与反射强度)，通过卷积层的处理可以使点云特征的维度提高到数百维或上千维，即高维点云特征。高维点云特征相比低维度点云特征可以更加精确地描述无人车所处环境。池化层优点在于其可以处理点云的无序性，通过某邻域内点的分布确定该邻域的特征，而不受点云中点的顺序变化影响。

步骤S2中，根据先验点云地图和无人车实时点云的深度特征相似度，完成无人车实时点云与先验点云间的点云配准的过程包括：

1)将深度特征表示为高维空间中的图像，将点云配准视为图像帧间的运动估计；

2)基于上述运动估计的结果对实时点云的位置进行更新，重新计算更新后的实时点云与先验点云地图之间的运动估计；

3)重复执行步骤1)和步骤2)，当运动估计小于预先设定的估计阈值，或迭代次数大于预先设定的迭代次数阈值时，停止迭代，累计的运动估计为实时点云到先验点云地图的转换关系。

无人车实时点云与先验点云之间的点云配准过程中，运动估计是通过检测两帧图像间像素变化进而完成估计的方法，所述高维空间中的图像中，其像素即为点云的深度特征，故可以使用运动估计的方法通过深度特征的变化完成无人车实时点云与先验点云之间的点云配准。结合迭代计算，其优点在于可以在上次配准结果的基础上继续迭代计算，从而降低配准误差。

还包括：S3、对步骤S2得到的特征匹配定位结果使用均值滤波进行平滑处理。平滑处理可以滤除定位结果的噪声成分，并减少异常值对于定位结果的影响，使定位结果更加准确，轨迹更加平滑。

步骤S3中，对特征匹配定位结果使用均值滤波进行平滑处理的过程包括：将当前特征匹配定位结果与前M帧的定位结果进行加权平均，计算出平滑处理后的定位结果。

均值滤波简单高效，可以快速过滤定位结果中的噪声成分。通过调整权重值，可以调整均值滤波的平滑效果和对异常值的消除效果，使定位结果更加精确。M为可调参数，调整均值滤波中选取的帧数，可根据算法的输出帧率进行调整，灵活方便。

本发明还提供了一种无人车定位系统，包括计算机设备；所述计算机设备被配置或编程为用于执行上述方法的步骤。

与现有技术相比，本发明所具有的有益效果为：

1、本发明使用深度网络和大量样本学习提取输入点云的深度特征，深度特征相比激光点云坐标和简单几何特征可以更加准确的表示无人车所处环境；

2、本发明通过模拟运动估计求解有效使用所提取的深度特征实现了先验点云地图和无人车实时点云的配准，相比现有技术中的点云配准更加准确以及鲁棒，相应也会提升无人车定位方法的准确性与鲁棒性。

附图说明

图1为本申请示例性实施例提供的一种基于深度学习的无人车定位方法的流程示意图；

图2为本申请示例性实施例提供的一种基于深度学习的无人车定位系统的流程示意图。

具体实施方式

图1为本申请实施例方法流程图，如图1所示，该方法包括：

步骤S11、获取无人车所处环境的先验点云地图；

步骤S12、获取无人车所处环境的实时点云；

步骤S13、分别对先验点云地图和实时点云中输入的点云特征提取其深度特征；

步骤S14、根据先验点云地图和无人车实时点云的深度特征相似度进行匹配，得到实时点云相对先验点云地图的转换关系，此转换关系即为所述无人车在先验点云地图中的位置；

步骤S15、对特征匹配定位结果平滑处理，对定位结果进行调整。

在本申请实施例的一种示例性实施例中，步骤S11包括：

获取先验地图的激光点云，所述激光点云由若干物体反射回的激光点坐标组成，激光点云坐标的一种数据格式是三维坐标。

所述激光点云可以通过单个激光发射装置生成，也可以通过多个激光发射装置生成的点云拼接生成，或者通过模拟仿真、人为构造及以上所有方式的组合生成。

在一些可选的实现方式中，所述激光点云可以是由在无人车所处坐标系下的激光点组成。

先验点云地图可以通过使用任何地图构建算法对先验地图的激光点云进行地图构建获得，一种实施方式是使用同时定位与建图算法。

所述地图构建过程可以有多种实现方式，比如通过实时采集的激光点云数据构建或通过离线激光点云构建、在无人车本地构建或将数据以无线连接或有线的连接方式传输到无人车服务器构建。

在本申请实施例的一种示例性实施例中，步骤S12包括：

获取实时点云的激光点云，所述激光点云由若干物体反射回的激光点坐标组成，激光点坐标的一种数据格式是三维坐标。

所述激光点云可以通过单个激光发射装置生成，也可以通过多个激光发射装置生成的点云拼接生成，或者通过模拟仿真、人为构造及以上所有方式的组合生成。

在一些可选的实现方式中，所述激光点云可以是由在无人车所处坐标系下的激光点组成。

在本申请实施例的一种示例性实施例中，步骤S13包括：

本发明设计一种深度网络结构，为所述深度网络输入大量数据集以学习其网络参数，使用所述深度网络提取先验点云地图和实时点云的深度特征。

所述先验点云地图与实时点云在输入到深度网络前可以进行预处理。

所述深度网络可以通过有监督或无监督的学习方式实现。所提取深度特征一般为高维特征，相比传统手工特征有更强的准确性和鲁棒性。

所述有监督的学习方式可以通过如下方式实现：

所用数据集可以划分为训练集、测试集或者训练集、验证集、测试集。

其中，每种类型数据集均配有真实值，用来评估深度网络模型的拟合程度。训练集用于训练所述模型以及确定模型权重，验证集用于确定所述模型的网络结构以及调整模型的超参数，测试集用于检验模型的泛化能力。

所述学习过程可以通过以缩小模型在数据集上的误差为目的不断迭代训练模型，得到对数据集拟合合理的模型。

所述深度网络结构可以包括卷积层，激活层，全连接层，池化层以及均值化，归一化等操作。

激活函数为relu函数，计算公式如下：

x代表激活函数的输入值。

所述深度网络需要包含一些方法用以避免点云的无序性对特征提取产生影响，一种可以选用的实现方法是为每个点云创建局部邻域并使用池化层使所述局部邻域的中点获得局部特征。

在本申请实施例的一种示例性实施例中，步骤S14包括：

将深度特征表示为高维空间中的图像，将点云配准视为图像帧间的运动估计，通过跟踪图像帧间运动获得先验点云地图和实时点云的配准结果；

基于上述运动估计的结果对实时点云的位置进行更新，重新计算更新后的实时点云与先验点云地图之间的运动估计，通过迭代逐步优化计算结果；

其中，所述运动估计结果由迭代累积的方式获得，计算公式如下：

G＝ΔG_n·...·ΔG₁·ΔG₀ (1)

G表示先验点云地图与实时点云的配准结果，ΔG_i(i＝n,...,1,0)表示单次迭代时的配准结果。每次迭代时，实时点云会通过如下方式更新：

X_new＝ΔG·X_old (2)

old表示本次迭代前的点云，new表示本次迭代后的点云，ΔG泛指本次迭代后的配准结果。

所述用跟踪运动估计的方式实现点云配准结果的计算，其一种示例性实施例可以采用光流法跟踪特征点的运动变化，一种优化的方法可以使用逆向光流法以减小算法的计算量。

所述反向光流法可以通过将先验点云地图和实时点云的深度特征视为图像，先验点云地图和实时点云的关系可以表示为：

F(X)＝F(G^-1·Y) (3)

其中函数F表示步骤S13所示深度网络，对于一输入点云，深度网络可以通过函数F将其输出映射到高维空间。G表示实时点云到先验点云地图的转换矩阵。由于转换矩阵只存在乘法，不支持深度网络的反向传播求导数计算梯度，可以将其转换为如下形式：

G∈SE(3)为实时点云到先验点云地图转换关系的李群形式，ξ∈se(3)为上述转换关系的李代数形式。

ξ可以通过如下公式计算得到：

ξ＝J⁺[F(X)-F(Y)] (5)

其中J⁺是雅可比矩阵J的广义逆，J可以通过如下公式计算得到：

具体而言，上式可以通过公式(3)的泰勒线性化展开得到：

同时，J也可以通过随机梯度法计算，公式如下：

J_i表示雅可比矩阵J任一维度的梯度，t_i为认为添加的极小值。

在本申请实施例的一种示例性实施例中，步骤S15包括：

在连续定位过程中考虑定位点的时间平滑性，通过均值滤波矫正定位结果，

使得定位结果的轨迹将更加平滑和准确。均值滤波公式如下：

M为加权平均选取的帧数，x_n，x_n-1，x_n-2,x_n-M+1为最后M帧的定位结果，w_n，w_n-1，w_n-2,w_n-M+1为最后M帧的权重。

图2为本申请实施例的一种基于深度学习的无人车定位系统的流程示例图，如图2所示，该方法包括：

步骤S21、获取无人车所处环境的先验点云地图；

步骤S22、分别对先验点云地图和实时点云中输入的点云特征提取其深度特征；

步骤S23、根据先验点云地图和无人车实时点云的深度特征相似度进行匹配，得到实时点云相对先验点云地图的转换关系，此转换关系即为所述无人车在先验点云地图中的位置；步骤S24、对特征匹配定位结果平滑处理，对定位结果进行调整。

在本申请实施例的一种示例性实施例中，步骤S21包括：

获取先验地图的激光点云，所述激光点云由若干物体反射回的激光点坐标组成，激光点坐标的一种数据格式是三维坐标。获取实时点云的激光点云，所述激光点云由若干物体反射回的激光点坐标组成，激光点坐标的一种数据格式是三维坐标。

所述激光点云可以通过单个激光发射装置生成，也可以通过多个激光发射装置生成的点云拼接生成，或者通过模拟仿真、人为构造及以上所有方式的组合生成。

在一些可选的实现方式中，所述激光点云可以是由在无人车所处坐标系下的激光点组成。

先验点云地图可以通过使用任何地图构建算法对先验地图的激光点云进行地图构建获得，一种实施方式是使用同时定位与建图算法。

所述地图构建过程可以有多种实现方式，比如通过实时采集的激光点云数据构建或通过离线激光点云构建、在无人车本地构建或将数据以无线连接或有线的连接方式传输到无人车服务器构建。

在本申请实施例的一种示例性实施例中，步骤S22包括：

本发明设计一种深度网络结构，为所述深度网络输入大量数据集以学习其网络参数，使用所述深度网络提取先验点云地图和实时点云的深度特征。

所述先验点云地图与实时点云在输入到深度网络前可以进行预处理。

所述深度网络可以通过有监督或无监督的学习方式实现。所提取深度特征一般为高维特征，相比传统手工特征有更强的准确性和鲁棒性。

所述有监督的学习方式可以通过如下方式实现：

所用数据集可以划分为训练集、测试集或者训练集、验证集、测试集。

其中，每种类型数据集均配有真实值，用来评估深度网络模型的拟合程度。训练集用于训练所述模型以及确定模型权重，验证集用于确定所述模型的网络结构以及调整模型的超参数，测试集用于检验模型的泛化能力。

所述学习过程可以通过以缩小模型在数据集上的误差为目的不断迭代训练模型，得到对数据集拟合合理的模型。

所述深度网络结构可以包括卷积层，激活层，全连接层，池化层以及均值化，归一化等操作。

所述深度网络需要包含一些方法用以避免点云的无序性对特征提取产生影响，一种可以选用的实现方法是为每个点云创建局部邻域并使用池化层使所述局部邻域的中点获得局部特征。

在本申请实施例的一种示例性实施例中，步骤S23包括：

将深度特征表示为高维空间中的图像，将点云配准视为图像帧间的运动估计，通过跟踪图像帧间运动获得先验点云地图和实时点云的配准结果；

基于上述运动估计的结果对实时点云的位置进行更新，重新计算更新后的实时点云与先验点云地图之间的运动估计，通过迭代逐步优化计算结果；

其中，所述点云配准结果由迭代累积的方式获得，计算公式如下：

G＝ΔG_n·...·ΔG₁·ΔG₀

G表示先验点云地图与实时点云的配准结果，ΔG_i(i＝n,...,1,0)表示单次迭代时的配准结果。每次迭代时，实时点云会通过如下方式更新：

X_new＝ΔG·X_old

X表示实时点云，ΔG泛指一次迭代后的配准结果。

所述用跟踪运动估计的方式实现点云配准结果的计算，其一种示例性实施例可以采用光流法跟踪特征点的运动变化，一种优化的方法可以使用逆向光流法以减小算法的计算量。

所述反向光流法可以通过将先验点云地图和实时点云的深度特征视为图像，先验点云地图和实时点云的关系可以表示为：

F(X)＝F(G^-1·Y)

其中函数F表示步骤S13所示深度网络，对于一输入点云，深度网络可以通过函数F将其输出映射到高维空间。G表示实时点云到先验点云地图的转换矩阵。由于转换矩阵只存在乘法，不支持深度网络的反向传播求导数计算梯度，可以将其转换为如下形式：

G∈SE(3)为实时点云到先验点云地图转换关系的李群形式，ξ∈se(3)为上述转换关系的李代数形式。

ξ可以通过如下公式计算得到：

ξ＝J⁺[F(X)-F(Y)]

其中J⁺是雅可比矩阵J的广义逆，J可以通过如下公式计算得到：

具体而言，上式可以通过公式(3)的泰勒线性化展开得到：

同时，J也可以通过随机梯度法计算，公式如下：

J_i表示雅可比矩阵J任一维度的梯度，t_i为认为添加的极小值。

在本申请实施例的一种示例性实施例中，步骤S24包括：

在连续定位过程中考虑定位点的时间平滑性，通过均值滤波矫正定位结果。

Claims (7)

1.一种无人车定位方法，其特征在于，包括以下步骤：

S1、提取先验点云地图和无人车实时点云的深度特征；

S2、根据先验点云地图和无人车实时点云的深度特征相似度，完成无人车实时点云与先验点云间的点云配准，得到实时点云相对先验点云地图的转换关系，该转换关系即为无人车在先验点云地图中的位置；

步骤S2中，根据先验点云地图和无人车实时点云的深度特征相似度，完成无人车实时点云与先验点云间的点云配准的过程包括：

1）将深度特征表示为高维空间中的图像，将点云配准视为图像帧间的运动估计；

2）基于上述运动估计的结果对实时点云的位置进行更新，重新计算更新后的实时点云与先验点云地图之间的运动估计；

3）重复执行步骤1）和步骤2），当运动估计小于预先设定的估计阈值，或迭代次数大于预先设定的迭代次数阈值时，停止迭代，累计的运动估计为实时点云到先验点云地图的转换关系。

2.根据权利要求1所述的无人车定位方法，其特征在于，步骤S1中，利用深度网络提取先验点云地图和无人车实时点云的深度特征，具体实现过程包括：以先验点云地图和无人车实时点云中每个点为中心点构建邻域，通过每个邻域点云特征，提取各邻域中心点的深度特征。

3.根据权利要求2所述的无人车定位方法，其特征在于，通过每个邻域点云特征，提取各邻域中心点的深度特征的具体实现过程包括：构建多层卷积层，通过所构建卷积层对先验点云地图和无人车实时点云做卷积处理，获得所述邻域的高维度点云特征；通过池化层将邻域内的高维度点云特征聚集到该邻域的中心点，并通过激活函数从所述深度网络中得到所述中心点的深度特征。

4.根据权利要求1～3之一所述的无人车定位方法，其特征在于，还包括：

S3、对步骤S2得到的特征匹配定位结果使用均值滤波进行平滑处理。

5.根据权利要求4所述的无人车定位方法，其特征在于，步骤S3中，对特征匹配定位结果使用均值滤波进行平滑处理的过程包括：将当前特征匹配定位结果与前M帧的定位结果进行加权平均，计算出平滑处理后的定位结果。

6.根据权利要求5所述的无人车定位方法，其特征在于，M=4。

7.一种无人车定位系统，其特征在于，包括计算机设备；所述计算机设备被配置或编程为用于执行权利要求1～6之一所述方法的步骤。

Images