CN110954933B - 一种基于场景dna的移动平台定位装置及方法 - Google Patents

Abstract

本发明提供一种基于场景DNA的移动平台定位装置及方法，包括数据采集单元、标定单元、信息采集辅助单元和数据处理单元；数据采集单元包括设置在固定支架上的前视相机、下视相机和卫星定位模块；数据处理单元用于根据数据采集单元采集的信息，构建基于场景DNA的地图，然后基于场景DNA地图进行初定位、图像级定位和度量级定位，能够提高对移动平台的定位精度。

Description

一种基于场景DNA的移动平台定位装置及方法

技术领域

本发明涉及车辆定位领域，具体涉及一种基于场景DNA的移动平台定位装置及方法。

背景技术

近年来，随着无人车技术的兴起，对车辆定位尤其是度量级车辆定位的需求也日益迫切，基于地图的车辆定位通过匹配待定位和地图图像特征实现，但在现实环境中，光照、天气变幻、场景变换导致图像特征变换，从而降低车辆定位精度。

目前，在车辆定位中已有一些成果，例如已授权的专利CN206960591B，专利名为“基于路面指纹的车辆高精度定位装置及方法”，公开了一种利用基于路面指纹的车辆定位方法。但该方法只是利用深度学习识别路面场景，即提取深度学习的最后一层特征，没有充分的利用深度学习特征。专利申请CN109099929A公开了一种基于场景指纹的车辆定位方法，但该方法没有充分的利用图像局部特征，因此无法实现度量级定位。

发明内容

本发明要解决的技术问题是：提供一种基于场景DNA的移动平台定位装置及方法，能够提高移动平台的定位精度。

本发明为解决上述技术问题所采取的技术方案为：一种基于场景DNA的移动平台定位装置，其特征在于：本定位装置包括数据采集单元、标定单元、信息采集辅助单元和数据处理单元；其中，

信息采集辅助单元为固定在移动平台上的固定支架，移动平台为待定位的对象；

数据采集单元包括设置在固定支架上的前视相机、下视相机和卫星定位模块；前视相机用于采集移动平台的前视图像；下视相机用于面向路面，采集移动平台的下视图像；卫星定位模块用于采集卫星定位信息；

标定单元用于给所述的前视相机和下视相机进行标定，获得前视相机和下视相机的内参数；

数据处理单元用于根据数据采集单元采集的信息，按照以下步骤进行定位：

S1、构建基于场景DNA的地图：

构建的地图由一系列已知节点构成，每个已知节点均包含场景DNA信息，即卫星定位信息、融合深度学习特征和图像局部特征；其中

卫星定位信息通过所述的卫星定位模块得到；融合深度学习特征是指将前视相机和下视相机采集的图像载入到卷积神经网络CNN中，并提取CNN各层的参数，融合提取的参数形成一个1×N的向量；图像局部特征是指分别对前视相机和下视相机获得的前视图像和下视图像的像素特征进行描述的特征描述符；

S2、基于场景DNA地图的初定位：

通过对比待定位节点和已知节点的卫星定位信息，从而筛选出距离待定位节点一定范围内的已知节点的集合；

S3、基于场景DNA地图的图像级定位：

计算待定位节点与已知节点的前视图像的融合深度学习特征和图像局部特征的距离，通过比较距离，从已知节点的集合中，找到与待定位节点最近的已知节点；

S4、基于场景DNA的度量级定位：

利用下视图像的图像局部特征与融合深度学习特征，结合计算机视觉理论，利用标定得到下视相机的内参，计算待定位节点与S3得到的与待定位节点最近的已知节点的相对位置关系，即旋转矩阵和平移矩阵，从而实现度量级定位。

按上述方案，所述的前视相机为工业相机。

按上述方案，所述的下视相机为采集帧速高于4帧/S的高速相机。

按上述方案，所述的卫星定位模块为GPS接收器、北斗、伽利略或格洛纳斯定位模块。

按上述方案，所述的1×N的向量V为：

V_1×N＝[v₁,v₂,…,v_n] (1)

式(1)中，v_i为将图像载入到CNN后提取的第i特征层，n为CNN所包含的特征层数，通过将各层参数拉成一个向量，最后融合各层参数形成一个1×N的向量V，该向量即为融合后的深度学习特征，由于CNN所包含n层特征层，每个特征层包含若干个神经元，N为n层特征层包含神经元的总个数；

由于融合后的深度学习特征消耗存储空间较大，因此对融合后的深度学习特征进一步筛选，即通过对V按照元素大小进行排列得到新的向量B＝[λ₁ λ₂ … λ_N]：

B＝[λ₁ λ₂ … λ_N]

λ₁＞λ₂＞…λ_N (2)

再通过阈值

提取向量B的主要元素：

式(3)中，k^*为挑选出来的主要元素，k为满足公式(3)的元素个数，通过找到k中的最小值k^*从而保留主要元素，得到经过筛选的融合深度学习特征V_mul-feature

按上述方案，所述的特征描述符为ORB、SURF、SIFT或LDB，并结合融合深度学习特征，基于计算机视觉理论，实现度量级定位。

按上述方案，所述的距离为欧氏距离或余弦距离。

一种利用所述的基于场景DNA的移动平台装置的定位方法，其特征在于：本方法包括以下步骤：

步骤一、当有移动平台在已知区域内进行移动时，通过对比待定位节点和已知节点的卫星定位信息，从而筛选出距离待定位节点一定范围内的已知节点的集合；

所述的待定位节点为移动平台所在位置；所述的已知区域为针对该区域已经构建了基于场景DNA的地图；所构建的基于场景DNA的地图由一系列所述的已知节点构成，每个已知节点均包含场景DNA信息，即卫星定位信息、融合深度学习特征和图像局部特征；其中

卫星定位信息通过所述的卫星定位模块得到；融合深度学习特征是指将CNN各特征层的参数融合成一个1×N的向量；图像局部特征是指分别对前视相机和下视相机获得的前视图像和下视图像的像素特征进行描述的特征描述符；

步骤二、基于场景DNA地图的图像级定位：

计算待定位节点与已知节点的前视图像的融合深度学习特征和图像局部特征的距离，通过比较距离，从已知节点的集合中，找到与待定位节点最近的已知节点；

步骤三、基于场景DNA的度量级定位：

利用下视图像的图像局部特征与融合深度学习特征，结合计算机视觉理论，利用标定得到的下视相机的内参，计算待定位节点与步骤二得到的与待定位节点最近的已知节点的相对位置关系，即旋转矩阵和平移矩阵，从而实现度量级定位。

按上述方法，其特征在于：

所述的1×N的向量V为：

V_1×N＝[v₁,v₂,…,v_n] (1)

式(1)中，v_i为将图像载入到CNN后提取的第i特征层，n为CNN所包含的特征层数，通过将各层参数拉成一个向量，最后融合各层参数形成一个1×N的向量V，该向量即为融合后的深度学习特征，由于CNN所包含n层特征层，每个特征层包含若干个神经元，N为n层特征层包含神经元的总个数；

由于融合后的深度学习特征消耗存储空间较大，因此对融合后的深度学习特征进一步筛选，即通过对V按照元素大小进行排列得到新的向量B＝[λ₁ λ₂ … λ_N]：

B＝[λ₁ λ₂ … λ_N]

λ₁＞λ₂＞…λ_N (2)

再通过阈值

提取向量B的主要元素：

式(3)中，k^*为挑选出来的主要元素，k为满足公式(3)的元素个数，通过找到k中的最小值k^*从而保留主要元素，得到经过筛选的融合深度学习特征V_mul-feature

按上述方法，所述的特征描述符为ORB、SURF、SIFT或LDB，并结合融合深度学习特征，基于计算机视觉理论，实现度量级定位。

本发明的有益效果为：先对区域内构建基于场景DNA的地图，所构建的地图由一序列已知节点构成，每个已知节点将卫星定位、融合深度学习特征和图像局部特征有机融合；基于地图的移动平台定位首先利用卫星定位实现初定位，再利用前视图像的融合深度学习特征实现图像级定位，最后利用下视图像的融合深度学习特征和局部特征实现度量级定位，从而提高对移动平台的定位精度。

附图说明

图1为本发明一实施例的方法流程图。

图2为基于场景DNA的地图构建原理图。

图3为本发明一实施例的装置结构图。

图中：1-移动平台，2-固定支架，3-卫星定位模块，4-前视相机，5-下视相机。

具体实施方式

下面结合具体实例和附图对本发明做进一步说明。

本发明提供一种基于场景DNA的移动平台定位装置，如图3所示，本定位装置包括数据采集单元、标定单元、信息采集辅助单元和数据处理单元；其中，信息采集辅助单元为固定在移动平台1上的固定支架2，使得固定支架2与移动平台1之间无相对位移，移动平台1为待定位的对象。数据采集单元包括设置在固定支架2上的前视相机4、下视相机5和卫星定位模块3。前视相机4用于采集移动平台的前视图像，本实施例选用工业相机。下视相机5用于面向路面，采集移动平台的下视图像，本实施例选用帧数高于4帧/s高速相机。卫星定位模块用于采集卫星定位信息，本实施例选用GPS接收器，也可以是其它的全球定位系统，例如北斗、伽利略或格洛纳斯。标定单元用于给所述的前视相机4和下视相机5进行标定，获得前视相机4和下视相机5的内参数。

如图1所示，数据处理单元用于根据数据采集单元采集的信息，按照以下步骤进行定位：

S1、构建基于场景DNA的地图：

构建的地图由一系列已知节点构成，如图2所示，每个已知节点均包含场景DNA信息，即卫星定位信息、融合深度学习特征和图像局部特征；其中，卫星定位信息通过所述的卫星定位模块得到；融合深度学习特征是指将前视相机和下视相机采集的图像载入到卷积神经网络CNN中，并提取CNN各层的参数，融合提取的参数形成一个1×N的向量；图像局部特征是指分别对前视相机和下视相机获得的前视图像和下视图像的像素特征进行描述的特征描述符。

所述的1×N的向量V为：

V_1×N＝[v₁,v₂,…,v_n] (1)

式(1)中，v_i为将图像载入到CNN后提取的第i特征层，n为CNN所包含的特征层数，通过将各层参数拉成一个向量，最后融合各层参数形成一个1×N的向量V，该向量即为融合后的深度学习特征，由于CNN所包含n层特征层，每个特征层包含若干个神经元，N为n层特征层包含神经元的总个数。

由于融合后的深度学习特征消耗存储空间较大，因此对融合后的深度学习特征进一步筛选，即通过对V按照元素大小进行排列得到新的向量B＝[λ₁ λ₂ … λ_N]：

B＝[λ₁ λ₂ … λ_N]

λ₁＞λ₂＞…λ_N (2)

再通过阈值

提取向量B的主要元素：

式(3)中，k^*为挑选出来的主要元素，k为满足公式(3)的元素个数，通过找到k中的最小值k^*从而保留主要元素，得到经过筛选的融合深度学习特征V_mul-feature

所述的特征描述符为ORB、SURF、SIFT或LDB，并结合融合深度学习特征，基于计算机视觉理论，实现度量级定位。

S2、基于场景DNA地图的初定位：

通过对比待定位节点和已知节点的卫星定位信息，从而筛选出距离待定位节点一定范围内的已知节点的集合。

M_c＝{m_i|dis(G_i,G)≤g} (5)

式(5)中，g为卫星定位的误差范围，G为待定位节点，G_i为i^th已知节点。经过初定位后得到点集M_c，M_c为筛选出的已知节点的集合。

S3、基于场景DNA地图的图像级定位：

计算待定位节点与已知节点的前视图像的融合深度学习特征和图像局部特征的距离(欧氏距离，余弦距离等)，通过比较距离，从已知节点的集合中，找到与待定位节点最近的已知节点。

式(6)中，m^*是对应的最小距离的已知节点，F_q为待定位节点的融合深度学习特征，

筛选出的已知节点的融合深度学习特征。通过图像级定位，即得到与待定位节点最近的已知节点。

S4、基于场景DNA的度量级定位：

利用下视图像的图像局部特征与融合深度学习特征，结合计算机视觉理论，利用标定得到的下视相机的内参，计算待定位节点与S3得到的与待定位节点最近的已知节点的相对位置关系，即旋转矩阵和平移矩阵，从而实现度量级定位。

在实际应用时，已知区域内已经建立好了基于场景DNA的地图，当有移动平台在已知区域内进行移动时，通过对比待定位节点和已知节点的卫星定位信息，从而筛选出距离待定位节点一定范围内的已知节点的集合，然后再进行图像级定位和度量级定位。

本发明提供一种基于场景DNA的移动平台定位装置及方法，将前视图像和下视图像载入到卷积神经网络(Convolutional Neural Network,CNN)中，提取不同视角图像的CNN各层特征形成一个新的定位特征，并融合图像的图像局部特征和卫星定位信息形成的一种具有唯一性和定位鲁棒性高的定位特征。通过结合场景DNA和计算机视觉理论，即可实现移动平台位姿计算。本发明装置简单且价格低廉，同时定位结果精度高，鲁棒性强。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (8)

1.一种基于场景DNA的移动平台定位装置，其特征在于：本定位装置包括数据采集单元、标定单元、信息采集辅助单元和数据处理单元；其中，

信息采集辅助单元为固定在移动平台上的固定支架，移动平台为待定位的对象；

数据采集单元包括设置在固定支架上的前视相机、下视相机和卫星定位模块；前视相机用于采集移动平台的前视图像；下视相机用于面向路面，采集移动平台的下视图像；卫星定位模块用于采集卫星定位信息；

标定单元用于给所述的前视相机和下视相机进行标定，获得前视相机和下视相机的内参数；

数据处理单元用于根据数据采集单元采集的信息，按照以下步骤进行定位：

S1、构建基于场景DNA的地图：

构建的地图由一系列已知节点构成，每个已知节点均包含场景DNA信息，即卫星定位信息、融合深度学习特征和图像局部特征；其中

卫星定位信息通过所述的卫星定位模块得到；融合深度学习特征是指将前视相机和下视相机采集的图像载入到卷积神经网络CNN中，并提取CNN各层的参数，融合提取的参数形成一个1×N的向量；图像局部特征是指分别对前视相机和下视相机获得的前视图像和下视图像的像素特征进行描述的特征描述符；

所述的1×N的向量V为：

V_1×N＝[v₁,v₂,…,v_n] (1)

式(1)中，v_i为将图像载入到CNN后提取的第i特征层，n为CNN所包含的特征层数，通过将各层参数拉成一个向量，最后融合各层参数形成一个1×N的向量V，该向量即为融合后的深度学习特征，由于CNN所包含n层特征层，每个特征层包含若干个神经元，N为n层特征层包含神经元的总个数；

由于融合后的深度学习特征消耗存储空间较大，因此对融合后的深度学习特征进一步筛选，即通过对V按照元素大小进行排列得到新的向量B＝[λ₁ λ₂…λ_N]：

B＝[λ₁ λ₂…λ_N]

λ₁＞λ₂＞…λ_N (2)

再通过阈值

提取向量B的主要元素：

式(3)中，k^*为挑选出来的主要元素，k为满足公式(3)的元素个数，通过找到k中的最小值k^*从而保留主要元素，得到经过筛选的融合深度学习特征V_mul-feature

S2、基于场景DNA地图的初定位：

通过对比待定位节点和已知节点的卫星定位信息，从而筛选出距离待定位节点一定范围内的已知节点的集合；

S3、基于场景DNA地图的图像级定位：

计算待定位节点与已知节点的前视图像的融合深度学习特征和图像局部特征的距离，通过比较距离，从已知节点的集合中，找到与待定位节点最近的已知节点；

S4、基于场景DNA的度量级定位：

利用下视图像的图像局部特征与融合深度学习特征，结合计算机视觉理论，利用标定得到下视相机的内参，计算待定位节点与S3得到的与待定位节点最近的已知节点的相对位置关系，即旋转矩阵和平移矩阵，从而实现度量级定位。

2.根据权利要求1所述的移动平台定位装置，其特征在于：所述的前视相机为工业相机。

3.根据权利要求1所述的移动平台定位装置，其特征在于：所述的下视相机为采集帧速高于4帧/S的高速相机。

4.根据权利要求1所述的移动平台定位装置，其特征在于：所述的卫星定位模块为GPS接收器、北斗、伽利略或格洛纳斯定位模块。

5.根据权利要求1所述的移动平台定位装置，其特征在于：所述的特征描述符为ORB、SURF、SIFT或LDB，并结合融合深度学习特征，基于计算机视觉理论，实现度量级定位。

6.根据权利要求1所述的移动平台定位装置，其特征在于：所述的距离为欧氏距离或余弦距离。

7.一种利用权利要求1所述的基于场景DNA的移动平台装置的定位方法，其特征在于：本方法包括以下步骤：

步骤一、当有移动平台在已知区域内进行移动时，通过对比待定位节点和已知节点的卫星定位信息，从而筛选出距离待定位节点一定范围内的已知节点的集合；

所述的待定位节点为移动平台所在位置；所述的已知区域为针对该区域已经构建了基于场景DNA的地图；所构建的基于场景DNA的地图由一系列所述的已知节点构成，每个已知节点均包含场景DNA信息，即卫星定位信息、融合深度学习特征和图像局部特征；其中

卫星定位信息通过所述的卫星定位模块得到；融合深度学习特征是指将CNN各特征层的参数融合成一个1×N的向量；图像局部特征是指分别对前视相机和下视相机获得的前视图像和下视图像的像素特征进行描述的特征描述符；

步骤二、基于场景DNA地图的图像级定位：

计算待定位节点与已知节点的前视图像的融合深度学习特征和图像局部特征的距离，通过比较距离，从已知节点的集合中，找到与待定位节点最近的已知节点；

步骤三、基于场景DNA的度量级定位：

利用下视图像的图像局部特征与融合深度学习特征，结合计算机视觉理论，利用标定得到的下视相机的内参，计算待定位节点与步骤二得到的与待定位节点最近的已知节点的相对位置关系，即旋转矩阵和平移矩阵，从而实现度量级定位；

所述的1×N的向量V为：

V_1×N＝[v₁,v₂,…,v_n] (1)

式(1)中，v_i为将图像载入到CNN后提取的第i特征层，n为CNN所包含的特征层数，通过将各层参数拉成一个向量，最后融合各层参数形成一个1×N的向量V，该向量即为融合后的深度学习特征，由于CNN所包含n层特征层，每个特征层包含若干个神经元，N为n层特征层包含神经元的总个数；

由于融合后的深度学习特征消耗存储空间较大，因此对融合后的深度学习特征进一步筛选，即通过对V按照元素大小进行排列得到新的向量B＝[λ₁ λ₂…λ_N]：

B＝[λ₁ λ₂…λ_N]

λ₁＞λ₂＞…λ_N (2)

再通过阈值

提取向量B的主要元素：

式(3)中，k^*为挑选出来的主要元素，k为满足公式(3)的元素个数，通过找到k中的最小值k^*从而保留主要元素，得到经过筛选的融合深度学习特征V_mul-feature

8.根据权利要求7所述的定位方法，其特征在于：所述的特征描述符为ORB、SURF、SIFT或LDB，并结合融合深度学习特征，基于计算机视觉理论，实现度量级定位。

Images