CN107907124B

CN107907124B - 基于场景重识的定位方法、电子设备、存储介质、系统

Info

Publication number: CN107907124B
Application number: CN201710923718.1A
Authority: CN
Inventors: 王越; 尹欢
Original assignee: Hangzhou Iplus Tech Co ltd
Current assignee: Hangzhou Iplus Tech Co ltd
Priority date: 2017-09-30
Filing date: 2017-09-30
Publication date: 2020-05-15
Anticipated expiration: 2037-09-30
Also published as: CN107907124A

Abstract

本发明提供基于场景重识的定位方法，包括数据转换，将三维激光数据转换为二维单通道图像；建立特征地图，对图像进行标记，得到图像对应的标签；将图像与标签作为输入，采用神经网络训练模型进行训练得到特征向量，根据特征向量建立特征地图；全局定位，根据当前激光数据与已有特征地图进行匹配，选取匹配结果最近的结果作为当前全局定位。本发明还涉及电子设备、存储介质、系统。本发明基于k‑d树的快速搜索完成激光数据与地图的匹配，以场景重识作为观测模型、融合里程信息、粒子滤波算法在全局上估计出机器人的二维位姿；本发明具有旋转不变性，与机器人此时的朝向无关；本发明适应室外环境的缓变，适用于机器人的长期运行。

Description

基于场景重识的定位方法、电子设备、存储介质、系统

技术领域

本发明涉及定位方法，尤其涉及基于场景重识的定位方法、电子设备、存储介质、检测系统。

背景技术

近年来，室外移动机器人出现在生产生活的各个方面。对于无人驾驶、室外巡检、自动送货等功能而言，移动机器人需要较为鲁棒的全局定位。而在长期运行的环境中，定位丢失或者机器人被绑架的情况难以避免，所以在这种情况下需要快速且精准地定位机器人。三维激光传感器能够较为精准地得到机器人周围的环境结构信息，已经被广泛应用于室外机器人的地图构建与实时定位。这正成为本发明研究与深入的方向。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于场景重识的定位方法、电子设备、存储介质、检测系统，采用基于三维激光数据的场景重识技术是全局定位的关键与基础；此外，基于k-d树的快速搜索完成激光数据与地图的匹配，以场景重识作为观测模型、融合里程计信息、粒子滤波算法在全局上估计出机器人的二维位姿，这种转化方法具有旋转不变性，与机器人此时的朝向无关。同时本发明适应室外环境的缓变，适用于机器人的长期运行。

本发明提供基于场景重识的定位方法，包括以下步骤：

数据转换，将三维激光数据转换为二维单通道图像；

建立特征地图，根据场景对所述图像标记对应的场景标签；将所述图像与场景标签作为输入，采用神经网络训练模型进行训练得到特征向量模型，利用特征向量模型将所述图像转化得到特征向量，根据所述特征向量建立特征地图；

全局定位，利用特征向量模型获取当前激光数据对应的特征向量，将所述特征向量与所述特征地图进行匹配，根据最优匹配结果计算当前位置。进一步地，所述步骤数据转换具体为：

S101、获取三维激光数据中各激光点的仰角；

S102、根据所述激光点的仰角，将三维激光数据划分得到不同仰角区间的子集；

S103、统计相同仰角区间内相邻激光点之间的距离变化，得到各个所述子集的一维统计分布；

S104、对各个所述子集的统计分布进行排列，得到二维单通道图像。

进一步地，所述步骤建立特征地图具体采用k-d树将所有所述特征向量构建特征地图。

进一步地，所述步骤建立特征地图具体为：

S201、获取所述二维单通道图像，并对所述二维单通道图像进行标注，得到所述图像对应的标签；

S202、将所述图像与所述标签作为输入，采用神经网络训练模型进行训练得到一维特征向量；

S203、根据所述一维特征向量，采用k-d树构建特征地图。

进一步地，所述S201步骤具体为：计算每一帧激光数据对应的机器人位姿，根据所述位姿差值判断是否为相同场景，并将所述激光数据与所述图像配上闭环场景或非闭环场景的标签。

进一步地，所述S202步骤中采用对称神经网络训练模型进行训练。

进一步地，步骤全局定位还包括：对匹配结果进行评估，获得最优匹配结果的衡量概率P_ob，

其中d_max为预设距离值，

为匹配排名前n中第i名的距离值。

进一步地，步骤全局定位还包括：将所述概率P_ob的最优匹配结果融入粒子滤波框架，衡量概率P_ob融入粒子权重的估计得到W_particle＝P_ob W_ob，其中W_ob是根据粒子距离最优匹配结果的距离得到的权重，W_ob符合高斯分布；融入里程信息，得到估计位姿。

一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行如基于场景重识的定位方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行如基于场景重识的定位方法。

基于场景重识的定位系统，包括处理终端、激光测量装置；

所述激光测量装置用于采集机器人移动过程中的激光数据，所述激光数据为三维点数据；

所述处理终端用于获取所述激光数据，所述处理终端执行所述的基于场景重识的定位方法，得到当前机器人的位姿。

相比现有技术，本发明的有益效果在于：

本发明提供基于场景重识的定位方法，包括数据转换，将三维激光数据转换为二维单通道图像；建立特征地图，对图像进行标记，得到图像对应的标签；将图像与标签作为输入，采用神经网络训练模型进行训练得到特征向量，根据特征向量建立特征地图；全局定位，根据当前激光数据与已有特征地图进行匹配，选取匹配结果最近的结果作为当前全局定位。本发明还涉及电子设备、存储介质、系统。本发明采用基于三维激光数据的场景重识技术是全局定位的关键与基础；此外，基于k-d树的快速搜索完成激光数据与地图的匹配，以场景重识作为观测模型、融合里程信息、粒子滤波算法在全局上估计出机器人的二维位姿，本发明具有旋转不变性，与机器人此时的朝向无关。同时本发明适应室外环境的缓变，适用于机器人的长期运行。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的基于场景重识的定位方法流程图；

图2为本发明的基于场景重识的定位系统组织结构图；

图3为本发明在一实施例中采用对称神经网络的三维激光数据转化示意图；

图4为本发明在一实施例中采用对称神经网络结构图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

基于场景重识的定位方法，如图1所示，包括以下步骤：

S1、数据转换，将三维激光数据转换为二维单通道图像；

S2、建立特征地图，对图像进行标记，得到图像对应的标签；将图像与标签作为输入，采用神经网络训练模型进行训练得到特征向量，根据特征向量建立特征地图；

S3、全局定位，根据当前激光数据与已有特征地图进行匹配，选取匹配结果最近的结果作为当前全局定位。

在一实施例中，步骤数据转换具体为：

S101、获取三维激光数据中各激光点的仰角；具体的，在机器人坐标系下，将激光点从笛卡尔坐标(x,y,z)转到以激光器为球坐标系原点的球坐标

转化公式为：

其中θ为仰角，r为距离，φ为方位角。

S102、根据所述激光点的仰角，将三维激光数据划分得到不同仰角区间的子集；具体的，根据激光点的仰角θ不同，将仰角区间均匀地划分为N个区间[θ₁,...,θ_N]。这样，三维激光数据P被分割为N个子集，各个激光点根据其仰角值确定其所在的仰角区间，即所在子集

S103、统计相同仰角区间内相邻激光点之间的距离变化，得到各个子集的一维统计分布；具体的，计算一个仰角区间内相邻激光点的欧式距离，同一个仰角区间的欧式距离的集合形成欧式距离区间，对欧式距离区间进行线性分段，统计各个分段上激光点的个数分布，即对相邻激光点之间的二维平面距离进行统计，相当于统计激光点之间的距离变化；如此得到一维的统计分布来描述这个仰角区间(即子集)内激光的局部结构变化。

具体步骤如下：

在一个子集

内，计算相邻激光点p₁与p₂在二维平面上的距离之差：

该距离限制在I＝[v_min,v_max]的欧式距离区间内，将该区间均匀地划分为b个欧式距离子区间，即

其中，v_min是最小的距离差，v_max是最大的距离差。

这种划分方法与S102中的划分方法类似，都是将一个变量划分为线性子区间，而后者是前者的基础，先将仰角区间线性划分，再将区间内的距离差进行线性划分。此外，这里需要进一步对每一个欧式距离子区间内的激光点的个数进行统计。

对于同一个仰角区间内的两个激光点，可以得到其距离差ΔR分布在第k个欧式距离子区间：

记录子集

内所有相邻激光点之间距离ΔR并计算其所属欧式距离子区间，各个欧式距离子区间内的激光点数不同，记作分布

对这个数量进行归一化，作用是限制各个子区间内的最终值为[0,1]之间：

其中，该式中各变量为：

子集

的欧式距离差的分布；

子集的激光点的个数；(p₁,p₂)一组相邻的属于子集

的激光点；ΔR该组激光点的二维距离差；

欧式距离线性划分为b段后第k个子区间。

将b个子区间的统计结果拼合起来，可以组成一个所有ΔR在欧式距离上的一维统计分布：

S104、对各个子集的统计分布进行排列，得到二维单通道图像。具体的，各个仰角区间的统计分布按照仰角大小排列，N个仰角区间内所有分布组合起来，可以形成一个N×b大小的单通道图像。

本质上，该图像的行向量分别为

表示三维激光数据根据仰角不同划分为N个子集；而列向量则为

表示一个子集内相邻激光点的距离差的一维分布，该分布有b个子区间。

上述基于统计的图像特征描述了机器人周围三维环境，并有旋转不变性，且与机器人的朝向没有关联。

在一实施例中，步骤建立特征地图具体为：

S201、获取二维单通道图像，并根据图像的场景对二维单通道图像进行标记对应的场景标签；所述场景分为闭环场景与非闭环场景，闭环场景对应闭环场景标签，非闭环场景对应非闭环场景标签，所述闭环指机器人处于相同或相近似的位姿；具体的，图2中机器人所携带的激光测量装置360度实时扫描周围环境，将三维激光数据的转化为二维单通道图像，在机器人运动过程中，得到丰富的三维激光数据，通过计算得到每一帧激光数据对应的机器人位姿X。根据所得定位，如果两个位姿X₁、X₂之间距离很近(小于某个阈值)，则判断为闭环(相同场景)，如下：

闭环(或相同场景)

将所述两个定位对应的激光数据配上场景标签0或1，具体的0为非闭环场景标签，1为闭环场景标签。因此，通过步骤S1获得的激光数据对应的二维图像也相互配上0/1标签，以标注是否代表非闭环场景或者闭环场景。

S202、将图像与对应的场景标签作为输入，采用神经网络训练模型进行训练得到特征向量模型；具体的，引入对称神经网络，结构如图3和图4所示，训练该模型。如图4所示，该模型最终可以直接可以判断两张二维图像之间的相似度，由于所述二维图像通过计算三维激光数据获得，因此本质上是判断两帧三维激光数据之间的相似度，作为场景重识的基础。

S203、根据特征向量模型将所述二维单通道图像转化得到特征向量，采用k-d树构建特征地图。具体的，利用模型将每一帧激光数据对应的图像最终转化为1×k的特征向量F＝{f₁,...,f_k}，当所有激光数据转化得到的若干一维特征向量后，再利用k-d树构建特征地图；k-d树本质上是一种分割k维数据空间的数据结构，k-d树的建立是一个递归过程，首先计算m个维度上数据的方差大小，确定需要分割的维度；然后在该维度上分割超平面；通过不断的迭代与分割，形成数据联通的节点树，由特征向量组成的k-d树即构建特征地图，用于作为全局定位所需要的先验地图。

在一实施例中，步骤全局定位具体为：

S301、将当前三维激光数据转化为对应的特征向量，将该特征向量在所述特征地图上匹配，获得的匹配结果，选取最近的结果为全局定位所需的观测模型，即最优匹配结果。

利用特征向量模型将当前获得的三维激光数据最终转化为一维的特征向量。将该特征向量与步骤2获得特征地图进行匹配，k-d树高效而且准确地得到匹配排名前n的节点以及欧式距离

当机器人定位丢失或绑架的情况下，一帧实时的三维激光数据经过模型转化为特征向量，然后与k-d树上的节点做匹配，可以寻找到若干个较近点以及相应欧氏距离。选取最近的节点作为最优匹配结果，所述最优匹配结果即为全局定位所需的观测模型。

S302、计算最优匹配结果的衡量概率；

对匹配结果进行评估，获得衡量最优匹配结果的概率P_ob；具体的，所述概率通过以下公式获得：

其中d_max为预设距离值，

为匹配排名前n中第i名的距离值。根据匹配结果以及距离的大小程度，对此激光数据的匹配进行可能性匹配，概率越大匹配结果越佳，即该节点越接近于当前激光数据对应的机器人的位姿，并以此作为带有概率的观测融入粒子滤波框架，实现移动机器人在全局坐标系下的快速定位。

S303、将带有概率的最优匹配结果融入粒子滤波框架，获得机器人在全局地图下的位置(x,y)。

用概率衡量匹配结果，并作为观测模型输入粒子滤波框架。将带有概率的最优匹配结果融入粒子滤波框架具体为将概率融入粒子滤波中的粒子滤波权重表达式中：

W_particle＝P_ob W_ob

上式中W_ob是根据粒子距离观测的距离所得到的权重，符合高斯分布；融入观测的概率后，最终的粒子权重变小，因此在最后的重要性采样过程中，过滤掉权重小于某一定阈值的粒子，如此去除错误的观测模型给定位所带来的影响。根据粒子滤波框架及粒子滤波权重计算机器人在全局地图下的位置为现有技术。

S304、根据里程计信息计算机器人姿态。

计算机器人姿态即计算机器人的朝向θ_T。在一实施例中，二维世界坐标系下，对于单个粒子p在t-1时刻位姿为X_t-1＝(x_T1,y_T1,θ_T1)，里程计信息为到t时刻的机器人坐标系下的运动u＝(Δx_T,Δy_T,Δθ_T)，那么t时刻的机器人位姿为：

x_T2＝x_T1+Δx_T cosΔθ_T-Δy_T sinΔθ_T

y_T2＝y_T1+Δx_T sinΔθ_T+Δy_T cosΔθ_T

θ_T2＝θ_T1+Δθ_T

融入里程计信息后，再通过上述的观测模型与概率评估，对大规模粒子进行采样，由此确定机器人二维位姿(x_T,y_T,θ_T)。

一种电子设备，包括：处理器；存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行如基于场景重识的定位方法。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行如基于场景重识的定位方法。一般的，本电子设备具体为移动机器人，移动机器人还包括图像采集装置与定位装置，图像采集装置用于采集机器人移动过程中的图像；在一实施例中，图像采集装置具体为立体相机；定位装置用于实时获取机器人的位姿，即获取里程计信息，位姿包括机器人位置与机器人姿态；定位装置为差分GPS，差分GPS的数量为至少两个。

如图2所示，基于场景重识的定位系统，包括处理终端、激光测量装置；激光测量装置用于采集机器人移动过程中的激光数据，激光数据为三维点数据；处理终端用于获取激光数据，对当前机器人进行全局定位，得到当前机器人的位姿。其中处理终端具体可用于众多通用或专用的计算系统环境或配置中；例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims

1.基于场景重识的定位方法，其特征在于，包括以下步骤：

数据转换，将三维激光数据转换为二维单通道图像；

全局定位，利用特征向量模型获取当前激光数据对应的特征向量，将所述特征向量与所述特征地图进行匹配，根据最优匹配结果计算当前位置。

2.如权利要求1所述的基于场景重识的定位方法，其特征在于，所述步骤数据转换具体为：

S101、获取三维激光数据中各激光点的仰角；

3.如权利要求1所述的基于场景重识的定位方法，其特征在于，所述步骤建立特征地图具体采用k-d树将所有所述特征向量构建特征地图。

4.如权利要求3所述的基于场景重识的定位方法，其特征在于，所述步骤建立特征地图具体为：

S203、根据所述一维特征向量，采用k-d树构建特征地图。

5.如权利要求4所述的基于场景重识的定位方法，其特征在于，所述S201步骤具体为：计算每一帧激光数据对应的机器人位姿，根据所述位姿差值判断是否为相同场景，并将所述激光数据与所述图像配上闭环场景或非闭环场景的标签。

6.如权利要求4所述的基于场景重识的定位方法，其特征在于，所述S202步骤中采用对称神经网络训练模型进行训练。

7.如权利要求1所述的基于场景重识的定位方法，其特征在于，步骤全局定位还包括：对匹配结果进行评估，获得最优匹配结果的衡量概率P_ob，

其中d_max为预设距离值，

为匹配排名前n中第i名的距离值。

8.如权利要求7所述的基于场景重识的定位方法，其特征在于：步骤全局定位还包括：将所述概率P_ob的最优匹配结果融入粒子滤波框架，概率P_ob融入粒子权重的估计得到W_particle＝P_ob W_ob，其中W_ob是根据粒子距离最优匹配结果的距离得到的权重，W_ob符合高斯分布；融入里程信息，得到估计位姿。

9.一种电子设备，其特征在于包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行如权利要求1所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1所述的方法。

11.基于场景重识的定位系统，其特征在于：包括处理终端、激光测量装置；

所述处理终端用于获取所述激光数据，所述处理终端执行如权利要求1-8任一项所述的基于场景重识的定位方法，得到当前机器人的位姿。