CN110032965A - 基于遥感图像的视觉定位方法 - Google Patents

Abstract

本发明公开了一种基于遥感图像的视觉定位方法，包括以下步骤：根据遥感数据提取场景道路网络和地物语义特征；从视觉传感器获取观测值，对传感器数据进行特征提取和特征匹配，实现定位和地图构建；根据定位地图优化定位与地图；定位地图路网模块优化定位，实时估计当前位姿在路网中的绝对位置，辅助于定位。本发明在遥感卫星地图上提取道路网络以及语义信息辅助视觉定位，可在未知环境下实现高精度视觉定位。

Description

基于遥感图像的视觉定位方法

技术领域

本发明属于视觉定位领域，具体涉及一种基于遥感图像的视觉定位方法。

背景技术

机器人通常需要通过传感器装置获取自身以及周围环境的信息，从而实现以人类指定目标为导向的自主运动，并完成一系列其他作业任务。无人系统的定位技术是指在系统运行过程中能够自主确定其所在的位置和方向，定位通常有绝对定位与相对定位，绝对定位通常利用GPS等卫星导航系统，相对定位主要靠IMU等实现。但这些方案要么在实际应用中存在诸多局限，要么代价太高难以普及。比如，GPS无法在室内及遮挡严重的室外环境中使用，且定位精度较低，高精度的惯导系统成本太高且难以民用，基于无线信号的定位方案需要事先布置使用场景等。随着视觉技术的不断发展，利用视觉定位方法已成定位技术研究的重点，在无人驾驶领域，其不仅可以满足无人系统自主定位的需求，还可以解决GPS盲区的定位问题。

用视觉的方法实现移动机器人的定位通常需要两个步骤，即建立全局一致地图和全局位姿估计。创建全局一致地图可以视为SLAM(Simultaneous Localization andMapping)问题，移动机器人需要借助里程计、激光雷达、相机、陀螺仪等传感器进行环境感知以实现位姿状态估计，同时依靠所得到的精确位姿状态构建全局一致的地图。全局位姿估计指的是在已知全局地图的前提下，通过当前局部观测信息对移动机器人自身位姿进行估计。

根据国内外研究进展，SLAM技术定位精度有限，而全局位姿估计需要事先建立定位所需地图，无法应用在未知环境，并需要耗费大量精力在建图方面。因此在未知环境下实现高精度定位一直是国内外研究者的主要问题。

发明内容

本发明的目的在于提供一种基于遥感图像的视觉定位方法，在遥感卫星地图上提取道路网络以及语义信息辅助视觉定位，可在未知环境下实现高精度视觉定位。

实现本发明目的的技术解决方案为：一种基于遥感图像的视觉定位方法，包括以下步骤：

步骤1，根据遥感数据恢复场景道路网络和地物语义特征；

步骤2，从视觉传感器获取观测值，对传感器数据进行特征提取和特征匹配；

步骤3，根据定位地图优化定位与地图；

步骤4，通过定位地图路网模块优化定位，实时估计当前位姿在路网中的绝对位置。

本发明与现有技术相比，其显著优点为：(1)本发明在遥感卫星图像的基础上，实现未知环境下实现高精度视觉定位技术方案；(2)本发明使用遥感图作为视觉定位先验信息，提出基于神经网络的全自动道路网提取技术和地物语义提取技术；(3)提出道路变化点提取以及特征描述方法，在路网地图和结构拓扑地图基础上提出了定位地图结构，作用于定位优化；(4)提出视觉定位结构框架，分为跟踪模块，优化模块两大模块；(5)使用道路网变化点、路网结构和地物语义信息作用于优化定位与建图。

附图说明

图1是基于遥感图像的视觉定位方法流程图。

图2是生成对抗网络模型图。

图3是预测网络模型图。

图4是路网结构图。

图5是变化点结构图。

图6是变化点示意图。

图7是视觉定位流程图。

图8是位姿估计流程图。

图9是优化定位流程图。

具体实施方式

为了克服在未知环境下定位精度问题，本发明创新性提出使用遥感图像作为先验信息，辅助于视觉定位。本发明第一步对目标区域采集遥感图像，构建全自动的道路网提取道路网络和地物语义特征，第二步根据提取道路网络信息和地物语义信息融合成定位地图，最后根据视觉信息定位，使用定位地图优化无人系统位姿。总体流程图如图1所示，下面对本发明的具体步骤进行详细说明：

步骤1，根据遥感图像恢复道路网络和地物语义特征；

构建能够覆盖城市郊区型、森林型，开放乡村型等道路类型遥感图像的端到端神经网络，该神经网络实现自动提取道路特征，将道路像素值进行标识；

步骤1.1：构建端到端神经网络提取道路网方法，主要分为数据标注、模型训练，以及结果预测三个阶段；

步骤1.1.1：获取遥感图像，并标记道路，并对训练集做数据增强操作，包括旋转、镜像、模糊、光照调整、加噪操作。由于一般遥感图像数据集较小，本发明使用生成对抗网络生成虚假的遥感图，进一步扩大数据集，生成虚假遥感图的网络模型如图2所示。

步骤1.1.2：根据上一步所提供的数据对网络模型进行训练，本发明使用集成学习的方法，即使用两个网络模型，每个模型采用不同的参数去训练和预测，得到很多预测MASK图，此时采用模型融合的思路，采用投票机制对结果图的每个像素点进行预测，提高模型鲁棒性。本发明采用的模型一如图3左所示，为编码解码结构，训练速度快效率高，并在末端加入CRF模块做后续处理。本发明采用的模型二如图3右所示，U型结构，其优点在于能够在小的数据集上训练出好的模型，且训练速度很快。然后根据第一步所提供的真实和虚假的数据集训练网络，泛化性能大大提升。

步骤1.1.3：结果预测，本发明是应用在未知环境下的定位技术，但是对于未知环境，得益于强大的卫星系统是可以预先得到遥感图的，将定位场景遥感图输入网络，得到道路网提取结果。

步骤1.2：根据神经网络所提取道路像素值，建立道路网模型。利用道路网的拓扑特性分割、连接、删除候选道路段，表示道路段，提取中心线，生成路网模型，并根据上述所得到的提取道路的结果，构建定位地图。

步骤1.2.1：为了提取道路网，需要对提取的道路进行边缘平滑、道路细化、毛刺去除和断裂连接，提取中心线。本法明采用均值平滑和形态学骨架化的方法进行平滑和道路细化。

步骤1.2.2：做边缘优化和中心线提取(改进Ribbon Snake模型)。

其中v表示变量的能量函数，r表示在道路上的可移动圆的半径，x,y表示中心线位置坐标，s表示归一化弧长，t为当前时刻。

E_snake表示模型能量函数，E_snaxel表示第i个点的内部外部能量之和，E_snaxeli＝E_inti+E_exti，E_int为内部能量，E_ext为外部能量。

其中中心线离散化成一系列有序点V＝(v₀,v₁,…,v_n)；每个v_i＝(x_i，y_i)表示位置坐标，v_i对应着一个R_i＝(s_i,r_i)(s表示归一化弧长，r表示半径)；表示中心线上两个控制点的距离；表示半径的平均值；I_mean表示圆区域的灰度均值，I_sigma表示圆形区域标准差，表示垂直方向梯度，表示水平方向梯度，n表示圆形区域内像素点个数；通过优化能量函数实现边缘优化，圆心轨迹即为中心线。

步骤1.2.3：使用图抽象结构来表示道路网，具体结构如图4所示主要信息包含道路段，道路节点，道路索引，道路宽度信息。

步骤1.2.4：本发明提出衡量路径曲率变化的标准度量变化点，变化点能够衡量道路走向，分为局部变化点和全局变化点。本发明最为重要的一环是对变化点的特征提取，为后续的精确定位提供先验信息，主要分为分割弯曲候选道路，判断道路交叉点，连接和剔除候选道路几个步骤。本发明将端路段的交叉点、道路段局部变化点、道路点全局变化点视为变化点。如图5所示，构建变化点结构拓扑图；图6为变化点示意图。

局部变化点提取：Pt_local＝max(f(i)),{-σ≤i≤σ}；σ为选取的距离范围；

其中h_i表示该点切线方向，θ为选取的切线方向变化阈值。

全局变化点提取：Pt_global＝max(z(i)),{i∈{I},max(z(i))＞θ}；I表示中心线上的点集；θ表示设置的全局变化点变化阈值；

z(i)＝|J_n-J_i|+|J_i-J₁|；

J₁表示道路段头端点的切线方向，J_n表示尾端点的切线方向。

局部变化点特征描述：

θ₁表示可根据实际情况设置局部变化点的阈值，σ表示选取的距离范围。

全局变化点特征描述：

θ₂θ₃表示可根据实际情况设置的单点变化阈值和全局变化阈值，β表示距离范围。

步骤1.3：根据上述所得到的路网图和结构拓扑图以及地物语义信息生成所需的定位地图。

步骤1.3.1：本发明应用在未知环境下，可以利用已知位置的定位信息(如GPS信息)，推算出未知环境的路网点具体定位坐标，

其中d1,d2为图像坐标系下，未知点到已知点的距离，D为已知点间的绝对距离；

其中(x,y)是绝对坐标，

对于变化点也使用同样的方法计算出其绝对定位坐标。定位地图有路网图和变化点拓扑图构成，其为定位模块提供约束和导向信息。

步骤1.3.2：定位地图有路网图和变化点拓扑图以及地物语义信息构成，其为定位模块提供约束和导向信息。

步骤2：从视觉传感器获取观测值，对传感器数据进行特征提取和特征匹配，实现定位和地图构建，如图7所示，整体流程如下。

步骤2.1：定位初始化，恢复相机的旋转矩阵R和平移向量F_cr表示基本矩阵,X_rX_c表示两个像素点归一化平面上的坐标；

步骤2.2：提取ORB特征，计算帧之间的位姿变化(依靠当前帧和局部地图之间的关系)具体步骤如下。

步骤2.2.1：首先利用运动模式预测当前状态，通过匹配投影验证，如若匹配少于25％的特征，进入关键帧模式，与最近关键帧匹配，得到初始位姿估计。

步骤2.2.2：再通过局部地图跟踪优化相机位姿(BA目标函数如下，最小化重投影误差优化即Δx)。

ε表示单个位姿，P表示单个路标点，e表示观测误差；E,F是整体目标函数对路标点的偏导数和整体变量的导数，xc表示相机位姿变量，xp表示空间点变量。

步骤2.3：建图，选择性插入关键帧，然后检查当前地图点云，剔除冗余点，三角化新地图点，优化地图点(最临近更新)。

s₁x₁＝s₂Rx₂+t；x₁，x₂为两个特征点归一化坐标，s₁，s₂为两个特征点的深度，R旋转举证，t表示位移。

步骤3：本发明根据所构建的定位地图优化位姿和实时构建的三维点云地图。毋庸置疑，随着系统的运动，计算的位姿和点云位置，都是有误差的，即使我们使用全局或者局部优化，仍然存在累计误差。如图8、图9所示，本发明创新性使用定位地图对结果进行优化，分为两步，第一步变化点检测，第二步误差纠正。

步骤3.1：变化点检测，根据定位地图中的变化点图模块，当当前状态与其所在路径变化点位置theta3范围之内触发变化点检测，在固定滑动窗口内计算其每个位置平面内偏航角变化(-theta，theta)，计算窗口变化均值，根据下一个点变化点特征，在theta范围内，则认为当前位置变化点为候选点，记录下来，以此内推，当到达极大值时，则认为该点为变化点。

|xi-pt|＜θ；|i|＜μ；f表示偏航角θ_y，pt表示距离变化点，θ预设置的检测范围，μ表示预设置F的计算范围；

R表示旋转矩阵

θ_x＝tan^-1(R32,R33)；

θ_z＝tan^-1(R21,R11)；θ_x、θ_y、θ_z表示欧拉角的各个方向；

X＝max{F}；满足|F-K_local|＜∈；

X即为变化点，∈为预设置的无穷小阈值，使得当前点特征无限接近于变化点特征。

步骤3.2：误差纠正。首先是位姿纠正，使用sim3纠正当前帧位姿，使用传播法每一关键帧正确的sim3变换值，得到当前关键帧的附近关键帧的sim3位姿，并用纠正的sim3位姿与其相乘。然后是地图点云纠正。根据已经纠正的位姿，纠正地图点云。定位优化之后，补充一个全局优化。

T_iwT_jw为当前位姿和目标位姿，T_ji为相对变换；

误差

优化的能量函数为：

Ω_i.j为信息矩阵，第一帧固定，优化T2,…,Tm。

位姿纠正之后的位姿：R_jw表示旋转矩阵，t_jw表示位移向量。

点云纠正：P_k为纠正前坐标，为纠正后的坐标。

步骤4：定位地图路网模块优化定位，实时估计当前位姿在路网中的绝对位置，辅助于定位。首先我们初始化时候需要计算当前位置的绝对坐标，随着位姿的不断更新，计算出每一个时刻当前状态下的绝对坐标，根据定位地图信息中的路网模块，如若当前状态下绝对坐标偏移大于一定阈值θ，即|F-W|＞θ，则启动重定位；其中W为当前路宽，F为偏移量，阈值θ为路宽。

Claims (5)

1.一种基于遥感图像的视觉定位方法，其特征在于，包括以下步骤：

步骤1，根据遥感数据提取场景道路网络和地物语义特征；

步骤2，从视觉传感器获取观测值，对传感器数据进行特征提取和特征匹配；

步骤3，根据定位地图优化定位与地图；

步骤4，通过定位地图路网模块优化定位，实时估计当前位姿在路网中的绝对位置。

2.根据权利要求1所述的基于遥感图像的视觉定位方法，其特征在于，步骤1具体为：

步骤1-1，构建端到端神经网络：

(1)获取遥感图像，并标记道路，对训练集做数据增强操作；

(2)根据上一步提供的数据对网络模型进行训练；

(3)将定位场景遥感图输入网络，得到道路网提取结果；

步骤1-2，根据神经网络所提取道路像素值，建立道路网模型；

步骤1-3，根据路网图、结构拓扑图以及地物语义信息生成所需的定位地图。

3.根据权利要求1所述的基于遥感图像的视觉定位方法，其特征在于，步骤2具体为：

步骤2-1，定位初始化，恢复相机的旋转矩阵R和平移向量t，F_cr表示基本矩阵,X_r、X_c表示两个像素点归一化平面上的坐标；

步骤2-2，提取ORB特征，计算帧之间的位姿变化，具体步骤如下：

首先利用运动模式预测当前状态，通过匹配投影验证，如若匹配少于25％的特征，进入关键帧模式，与最近关键帧匹配，得到初始位姿估计；

再通过局部地图跟踪优化相机位姿

x＝[ε₁,…,ε_m,P₁,…,P_n]；

式中，ε表示单个位姿，P表示单个路标点，e表示观测误差；E、F是整体目标函数对路标点的偏导数和整体变量的导数，xc表示相机位姿变量，xp表示空间点变量；

步骤2-3，选择性插入关键帧，然后检查当前地图点云，剔除冗余点，三角化新地图点，s₁x₁＝s₂Rx₂+t；x₁，x₂为两个特征点归一化坐标，s₁，s₂为两个特征点的深度，R旋转举证，t表示位移。

4.根据权利要求1所述的基于遥感图像的视觉定位方法，其特征在于，步骤3具体为：

步骤3-1，变化点检测，根据定位地图中的变化点图模块，当当前状态与其所在路径变化点位置theta3范围之内触发变化点检测，在固定滑动窗口内计算其每个位置平面内偏航角变化(-theta，theta)，计算窗口变化均值，根据下一个点变化点特征，在theta范围内，则认为当前位置变化点为候选点，记录下来，当到达极大值时，则认为该点为变化点；

|xi-pt|<θ；|i|<μ；f表示偏航角θ_y，pt表示距离变化点，θ预设置的检测范围，μ表示预设置F的计算范围；

R表示旋转矩阵；

θ_x＝tan^-1(R32,R33)；θ_z＝tan^-1(R21,R11)，θ_x、θ_y、θ_z分别表示欧拉角的各个方向；

X＝max{F}；满足|F-K_local|<∈；

X为变化点，K_local为局部变化点特征描述，∈为预设置的无穷小阈值，使得当前点特征无限接近于变化点特征；

步骤3-2，误差纠正：包括位姿纠正和点云纠正：

T_iwT_jw为当前位姿和目标位姿，T_ji为相对变换；

误差

优化的能量函数为：

Ω_i.j为信息矩阵，第一帧固定，优化T₂,…,T_m；

位姿纠正之后的位姿：R_jw表示旋转矩阵，t_jw表示位移向量；

点云纠正：P_k为纠正前坐标，为纠正后的坐标。

5.根据权利要求1所述的基于遥感图像的视觉定位方法，其特征在于，步骤4具体为：初始化时计算当前位置的绝对坐标，随着位姿的不断更新，计算出每一个时刻当前状态下的绝对坐标，根据定位地图信息中的路网模块，如若当前状态下绝对坐标偏移大于阈值θ，即|F-W|>θ，则启动重定位；其中W为当前路宽，F为偏移量。