CN109238288A - 一种无人机室内自主导航方法 - Google Patents

Abstract

本发明公开了一种无人机室内自主导航方法，属于模式识别技术领域。本发明所述方法采用双目立体视觉作为主要传感器，利用卷积神经网络作为室内环境分类器，针对不同的室内环境利用不同的视觉线索执行不同的飞行策略，进而完成室内自主导航任务。本发明所述方法在三种环境下的检测成功率和自主导航成功率都很高。

Description

一种无人机室内自主导航方法

技术领域

本发明属于模式识别技术领域，具体涉及一种无人机室内自主导航方法。

背景技术

近几年，无人机自主导航方面涌现了许多文献，但多集中于室外环境，而针对于室内等GPS缺失环境却只有少量研究工作。无人机自主导航一般基于传感器的不同往往采用不同的技术方法，诸如GPS，激光，雷达等等。随着相机的推广与普及，基于图像处理的自主导航方法逐渐变得实用与廉价，从而成为研究的热点。

现阶段，基于图像的无人机室内自主导航系统一般分为以下几种方法：(1)基于3D重构的方法；(2)基于坐标距离计算的方法；(3)基于图像视觉线索的方法。一般而言，对于使用3D重构的方法运算代价巨大，难以满足实时性要求；使用坐标距离计算方法，往往需要计算许多不需要的细节，造成计算力的浪费；而基于图像视觉线索的方法，则具备灵巧高效的特点。

文献“3D model-based tracking for UAV position control”采用3D重构的方法，模仿人类认知周围环境的方式，通过建立具体的三维结构，从而进行具体的导航，但是计算量大，实时性较差。文献“Learning Depth from Single Monocular Images”利用求解无人机所在空间坐标或者与周围打距离的方法来进行自主导航，在前者的基础上提高了实时性，但无法避免不必要细节的计算消耗。文献“Mono-vision corner SLAM for indoornavigation”公开了一种基于单目视觉的无人机走廊定位导航方法，其通过单目相机获取飞行过程所拍摄画面，进行角点提取，进而利用摄影几何之间的变换关系来计算出走廊左右墙壁到无人机的距离，在此基础之上利用视觉即时定位与地图构建技术(Visual-SLAM)完成无人机在该环境下的飞行。文献“Autonomous indoor helicopter flight using asingle onboard camera”在单目视觉基础上结合光流技术来实现无人机室内实时定位与导航的算法，其首先利用基于代价树的近邻算法对相机获取图像进行分类，进一步进行无参数学习估计出无人机的全局位置与方向，然后通过光流法估计出无人机每一时刻的飞行速度，将两者结合以实现无人机室内导航控制。文献“MAV navigation through indoorcorridors using optical flow”通过下置鱼眼相机，在走廊飞行移动过程中，可以获取较短间隔时间中相机成像平面上墙壁产生的光流，并结合惯性测量单元(InertialMeasurement Unit，IMU)的旋转数据构建每一时刻无人机在摄像机视角内距离墙壁的深度图，从而获取深度距离信息；利用视角内左右两面墙壁的平均深度进行去中心化来生成无人机偏离走廊正中心的距离；标准化为[-1，1]区间后传递给控制模块进行导航飞行。文献“Visual Odometry and Mapping for Autonomous Flight Using an RGB-D Camera”公开了一种基于RGB-D相机进行视觉测距和测绘的系统，并将其应用在室内飞行的无人机上。利用视觉测距技术与飞行测绘工作相结合，该系统可以在只使用无人机机载传感器与计算模块的条件下，规划复杂的三维路径同时保持高度的场景结构，从而保证无人机能够在杂乱的室内环境中进行安全而稳定的实时三维飞行。文献“Collision Avoidance forQuadrotors with a Monocular Camera”首先从无人机在悬停过程中获取的图像序列中恢复出相机所拍摄的当前场景的深度图，然后根据当前场景的深度图提取出接下来可以保证无人机无碰撞前向飞行的路径点。文献“Enabling UAV Navigation with Sensor andEnvironmental Uncertainty in Cluttered and GPS-Denied Environments”公开了一种将计算机视觉技术与无人机飞行控制相结合的算法，实现了在更加复杂化的室内环境下无人机成功完成障碍规避飞行。该方法利用部分可观测马尔科夫决策过程(Partially-Observable Markov Decision Processes，POMDP)，在室内人工布置的障碍区域内设定无人机的飞行状态和动作集合，并构造了无人机采取某个动作导致负面结果的惩罚函数，利用高斯分布来表示无人机在起飞、转向以及视觉计算过程中的不确定性，在多批次的实验中训练得到相应的参数值，最终实现无人机在该障碍区域中无碰撞安全飞行从而达到指定目的地。

发明内容

本发明的目的是克服现有技术的不足，提供一种无人机室内自主导航方法。

本发明所提出的技术问题是这样解决的：

一种无人机室内自主导航方法，包括以下步骤：

步骤1.搭建双目立体视觉系统

步骤1.1相机标定

获取左右两个相机的内往外参数：

其中，[u，v，1]^T和[x_w，y_w，z_w，1]^T分别为空间中同一点在世界坐标系与像素坐标系下的齐次坐标，Z_C为该点在相机坐标系下的Z轴坐标；K_3×3为相机的内参矩阵，R_3×3和为相机的外参矩阵，分别为两个相机坐标系之间的旋转关系和平移关系；P_3×4为内外参矩阵构成的投影矩阵；

获取左右两个相机的畸变模型：

其中，k_i和p_i为待估计的畸变参数，i为正整数；x和y分别为二维成像平面上任一点的X轴和Y轴坐标，r为该点到原点的距离；δ_x，δ_y分别为该点受畸变影响带来的X轴和Y轴方向上坐标误差；

步骤1.2图像矫正

首先利用相机的内往外参数完成世界坐标系到相机坐标系的转换，然后利用相机畸变系数对相机坐标进行矫正后得到较为准确的像素坐标；

步骤1.3三角测距

获取该点到相机间的距离z：

其中，u₁和u₂分别为空间中同一点在左右相机成像平面上的横坐标，d为视差，f为相机焦距，b为两个相机光心之间的距离；

步骤2.环境分类

卷积神经网络包括依次连接的卷积层1、池化层1、看、卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4和隐层9；其中，网络输入为32×32图像，输出为3×1向量，用于表示当前图像对应分类于走廊、楼梯、拐角等三类环境的概率；

其中，各神经元激活函数为ReLu函数：

f(v)＝max(0，v) (4)

其中，v为神经元激活前的输出，max表示求最大值，f(v)为经激活后的输出；

选取交叉熵作为网络输出的损失函数：

其中，C为损失函数，n为样本数，a为神经元的实际输出，a＝f(z)，z＝∑w_ix_i+b，w_i为权重，x_i为x^*的第i个元素，b为偏置，x^*为每一层神经元的输入，y^*为真实标签；

在反向传播过程中，使用Momentum(动量法)进行优化，如下式：

其中，l为当前迭代次数，d_l为第l次更新方向，θ_l为待估计参数，g(θ_l-1)为当前梯度方向，E为误差，α为学习率，β为上次更新方向衰减系数，一般取0.9；

步骤3.当通过卷积神经网络确定无人机所处环境(如走廊、楼梯、拐角)后，针对不同的环境设计不同飞行策略，用于完成无人机室内自主导航；

情形1.无人机位于室内走廊环境；

首先对走廊图像进行Canny边缘检测与概率霍夫线变换获取图像中的直线，将图像所检测到的直线中斜率接近于0或接近于无穷的直线剔除，直线交点坐标：

其中，(k₁，b₁)，(k₂，b₂)分别为两直线的斜率与截距；

使用划分图像网格的方法，通过寻找直线交点数目最多的网格点，来作为消失点的初始估计位置；假设在预处理后的尺寸大小为W×H的图像I上划分N×N的网格，每个网格点的尺寸大小为(W/N)×(H/N)，则每个网格点中直线交点的个数I_{(m′，n′)}如下式所示：

其中，(x_k，y_k)为图像上直线焦点坐标，K为直线焦点个数，1≤k≤K，(m′，n′)为图像上的格点坐标，1≤m′≤M，1≤n′≤N；

消失点的初始估计位置(x^*，y^*)为：

其中，(m^*，n^*)为直线交点数最多的网格点：

采用邻域求平均的方法进一步估计消失点的位置

其中，U为该邻域内所有点u组合成的集合，|U|为集合内点的个数：

U＝{k∈[0，K)：||(x_u，y_u)-(x^*，y^*)||²≤δ} (13)

其中，δ为点(x^*，y^*)的邻域半径；

假设消失点P在左右图像上的相机坐标分别为p_l(x_l，y₀)、p_r(x_r，y₀)，则无人机与消失点水平方向的位置关系分类三类：

(1)无人机正对消失点，x_l≥0，x_r≤0，无人机可保持当前飞行状态；

(2)无人机在消失点左边，x_l＞0，x_r＞0，无人机应向右调整；

(3)无人机在消失点右边，x_l＜0，x_r＜0，无人机应向左调整。

情形2.无人机位于室内楼梯环境；

经过Canny边缘检测与概率霍夫线变换预处理并过滤后，代表楼梯的直线簇相互间往往并不绝对平行，则斜率与k_i相近的近似平行直线数目如下：

其中T为近似平行直线的斜率差值，为不同直线的斜率；1≤l₁≤L，1≤l₂≤L，L为直线簇的直线数量；

图像中的楼梯由近似平行直线簇中数量最多的直线簇表示，其数量为：

其中，下标k为直线簇的平均斜率，下标k_ll为直线ll的斜率，1≤ll≤L；

无人机开始上楼飞行前矫正其机头的朝向：

(1)当楼梯直线平均斜率k＜-ε时，无人机机头偏左，应向右转动；

(2)当楼梯直线平均斜率k＞ε时，无人机机头偏左，应向左转动；

(3)当楼梯直线平均斜率-ε≤k≤ε时，无人机机头正对楼梯，可保持不动；

其中，阈值ε为接近于0的极小正数；

令点与点B(x_j，y_j)为图像上检测到的楼梯段簇左右两个端点，则楼梯中心的横坐标为：

其中，Q为楼梯的线段数，1≤q₁≤Q，1≤q₂≤Q；

由无人机与楼梯中心的相对位置可知：

(4)当时，无人机位于楼梯中心偏左，此时应向右移动；

(5)当时，无人机位于楼梯中心偏右，此时应向左移动；

(6)当时，无人机位于楼梯中心，可保持不动；

其中，阈值δ^*为接近于0的极小正数，分别为无人机与楼梯的水平坐标；

情形3.无人机位于室内拐角

首先通过双目视觉系统获取当前场景的左右图像，并尝试通过立体匹配后获取当前场景的深度图，采用非视觉传感器控制无人机距离正前方墙壁的最小距离0.5m。

本发明的有益效果是：

本发明所述方法采用双目立体视觉作为主要传感器，利用卷积神经网络作为室内环境分类器，针对不同的室内环境利用不同的视觉线索执行不同的飞行策略，进而完成室内自主导航任务。本发明所述方法在三种环境下的检测成功率和自主导航成功率都很高。

附图说明

图1为本发明所述方法的算法流程图；

图2为双目立体视觉流程图；

图3为标定空间示意图；

图4为立体匹配效果图；

图5为室内环境图；

图6为卷积网络结构图；

图7为走廊消失点图；

图8为楼梯检测图；

图9为拐角飞行事宜图；

图10为无人机走廊飞行示意图。

具体实施方式

下面结合附图和实施例对本发明进行进一步的说明。

本实施例提供一种无人机室内自主导航方法，其算法流程图如图1所示，首先通过双目立体视觉系统获取无人机当前所处环境下的左右图像，然后利用卷积神经网络将该室内图像分为走廊、楼梯、拐角等三个环境，最后针对不同环境图像不同的视觉线索执行不同的飞行策略，从而实现无人机室内自主导航。具体包括以下步骤：

步骤1.搭建双目立体视觉系统，其流程图如图2所示；

步骤1.1相机标定，获取左右两个相机的内往外参数以及两个相机的畸变系数，标定空间示意图如图3所示；

获取左右两个相机的内往外参数：

其中，[u，v，1]^T和[x_w，y_w，z_w，1]^T分别为空间中同一点在世界坐标系与像素坐标系下的齐次坐标，Z_C为该点在相机坐标系下的Z轴坐标；K_3×3为相机的内参矩阵，包含相机的焦距、像素块的尺寸、光轴与成像平面交点坐标等参数；R_3×3和为相机的外参矩阵，分别为两个相机坐标系之间的旋转关系和平移关系；P_3×4为内外参矩阵构成的投影矩阵，表示空间中某点到像素平面的投影关系；

获取左右两个相机的畸变模型：

其中，k_i和p_i为待估计的畸变参数，i为正整数；x和y分别为二维成像平面上任一点的X轴和Y轴坐标，r为该点到原点的距离；δ_x，δ_y分别为该点受畸变影响带来的X轴和Y轴方向上坐标误差；

步骤1.2图像矫正

在完成相机标定的基础上，需要对获取的图像进行矫正以保证图像具有较高的进度。首先利用相机的内往外参数完成世界坐标系到相机坐标系的转换，然后利用相机畸变系数对相机坐标进行矫正后得到较为准确的像素坐标；

步骤1.3三角测距

待图像矫正后，需要利用三角测距获取简易的距离信息；三角测距的目的在于通过空间中同一点在左右相机成像平面上的水平坐标差距d来获取该点到相机间的距离z：

其中，u₁和u₂分别为空间中同一点在左右相机成像平面上的横坐标，d为视差，f为相机焦距，b为两个相机光心之间的距离；

视差d往往通过立体匹配的方法获取。首先计算左右图像的匹配代价来获取不同视差下的相似性测量值，然后对匹配代价进行叠加来获取图像上局部区域的累积匹配代价，进而通过选取一定范围内匹配代价叠加结果最有的点作为视差值。常用的立体匹配方法有BM，SGBM，GC等几种，立体匹配效果如图4所示，从效果上看从效果上看GC匹配效果最好，SGBM效果居中，而BM匹配效果最差，即GC＞SGBM＞BM；从运行时间上看，BM匹配速度最快，SGBM居中，而GC最慢，即BM＜SGBM＜GC，本实施例折中选取SGBM方法。

我国的室内建筑大多属于硬直线条的传统建筑风格，并且就大的环境分类而言，可以主要分为三个类别：走廊、楼梯、拐角，如图5所示。走廊的主要特点为周围紧而中间空，楼梯主要以水平分布的台阶连接上下两个相邻的楼层空间，而拐角则负责主要负责连接走廊与楼梯、楼梯与楼梯等，三类环境具有明显的特点差异，所以我们先对无人机所处环境进行分类，然后针对不同类别的环境特点制定不同的飞行策略。其中双目立体视觉系统解决了无人机周围环境的感知获取问题，针对于无人机所获取的当前环境图像，我们通过构建一种卷积神经网络用于无人机室内图像分类。

步骤2.环境分类

本实施例基于卷积神经网络基础结构，设计了一个包含4层卷积4层池化外加一层全连通的卷积神经网络，如图6所示，用于对无人机室内所处环境进行分类。其中，网络输入为32×32图像，输出为3×1向量，用于表示当前图像对应分类于走廊、楼梯、拐角等三类环境的概率。卷积层1的输入为32×32图像，在图像周围进行补0填充后经过8个大小为7×7的高斯核卷积计算后输出大小为32×32的8通道图像；池化层1的输入为卷积层1的输出，经过大小为2×2最大池化计算后输出为16×16大小的8通道图像；卷积层2的输入为池化层1的输出，在图像周围进行补0填充后经过8×16个大小为7×7的高斯核卷积计算后输出大小为16×16的16通道图像；池化层2的输入为卷积层2的输出，经过大小为2×2最大池化计算后输出为8×8大小的16通道图像；卷积层3的输入为池化层2的输出，在图像周围进行补0填充后经过16×32个大小为7×7的高斯核卷积计算后输出大小为8×8的32通道图像；池化层3的输入为卷积层3的输出，经过大小为2×2的最大池化计算后输出为4×4大小的32通道图像；卷积层4的输入为池化层3的输出，在图像周围进行补0填充后经过32×32个大小为7×7的高斯核卷积计算后输出大小为4×4的32通道图像；池化层4的输入为卷积层4的输出，经过大小为2×2的最大池化计算后输出为2×2大小的32通道图像；隐层9的输入为卷积层4的输出，其输出为大小为2×2×32×64的向量。

其中，各神经元激活函数为ReLu函数：

f(v)＝max(0，v) (4)

其中，v为神经元激活前的输出，max表示求最大值；f(v)为经激活后的输出，该函数没有其它复杂激活函数中诸如指数项的影响，同时活跃度的分散性使得网络整体计算成本下降，能够更加有效的执行梯度下降以及反向传播，避免了梯度爆炸和梯度消失问题。

选取交叉熵作为网络输出的损失函数：

其中，C为损失函数，n为样本数，a为神经元的实际输出，a＝f(z)，z＝∑w_ix_i+b，w_i为权重，x_i为x^*的第i个元素，b为偏置，x^*为每一层神经元的输入，y^*为真实标签；

当输出值与目标值越接近时交叉熵越小，当输出值与目标值差别越大时交叉熵越大，如式(6)所示，当输出值与目标值差距越大时，误差对参数的偏导越大，因此与现有技术的方差损失函数相比，其能够克服权重更新过慢的问题。

其中，j为正整数；

在反向传播过程中，使用Momentum(动量法)进行优化，让每次参数更新方向不仅取决于当前位置的梯度，还受上次更新方向的影响，如下式：

其中，l为当前迭代次数，d_l为第l次更新方向，θ_l为待估计参数，g(θ_l-1)为当前梯度方向，E为误差，α为学习率，β为上次更新方向衰减系数，一般取0.9；

步骤3.当通过卷积神经网络确定无人机所处环境(如走廊、楼梯、拐角)后，针对不同的环境设计不同飞行策略，用于完成无人机室内自主导航。

情形1.位于室内走廊环境的无人机，其飞行目的为安全到达走廊的另一端出口。因此，无人机首先需要确定走廊另一端出口在左右相机获取图像上的位置，然后在朝向目的地飞行过程中尽可能的避免与周围环境发生碰撞，保证自身能够安全飞向走廊另外一端。

考虑到在透视投影中，空间中的平行长直线往往相较于无穷远处一点，通过寻找消失点来作为走廊环境下无人机的飞行方向即走廊出口方向，如图7所示。首先对走廊图像进行Canny边缘检测与概率霍夫线变换获取图像中的直线，为了能够更好的确定走廊方向消失点的位置，将图像所检测到的直线中斜率接近于0或接近于无穷的直线剔除，以尽可能减少水平方向与竖直方向直线对走廊方向消失点位置的影响，直线交点坐标：

其中，(k₁，b₁)，(k₂，b₂)分别为两直线的斜率与截距；

由于噪声等因素的干扰，沿走廊方向的直线往往并不交与一点，但位于消失点附近邻域内直线的交点往往比较密集。因此，使用划分图像网格的方法，通过寻找直线交点数目最多的网格点，来作为消失点的初始估计位置。假设在预处理后的尺寸大小为W×H的图像I上划分N×N的网格，每个网格点的尺寸大小为(W/N)×(H/N)，则每个网格点中直线交点的个数I_{(m′，n′)}如下式所示：

其中，(x_k，y_k)为图像上直线焦点坐标，K为直线焦点个数，1≤k≤K，(m′，n′)为图像上的格点坐标，1≤m′≤M，1≤n′≤N；

消失点的初始估计位置(x^*，y^*)为：

其中，(m^*，n^*)为直线交点数最多的网格点：

为了进一步减少噪声等不确定因素的影响，采用邻域求平均的方法进一步估计消失点的位置

其中，U为该邻域内所有点u组合成的集合，|U|为集合内点的个数：

U＝{k∈[0，K)：||(x_u，y_u)-(x^*，y^*)||²≤δ} (13)

其中，δ为点(x^*，y^*)的邻域半径；

假设消失点P在左右图像上的相机坐标分别为p_l(x_l，y₀)、p_r(x_r，y₀)，则无人机与消失点水平方向的位置关系可近似分类三类：

(1)无人机正对消失点，x_l≥0，x_r≤0，无人机可保持当前飞行状态；

(2)无人机在消失点左边，x_l＞0，x_r＞0，无人机应向右调整；

(3)无人机在消失点右边，x_l＜0，x_r＜0，无人机应向左调整。

情形2.位于室内楼梯环境的无人机，其飞行目的为安全飞到楼梯的上端。因此，无人机首先要确定楼梯在图像上的位置，然后根据无人机自身与楼梯间的相互位置关系，正确调整位姿后，再斜向前朝楼梯上端飞行，和走廊飞行相似，飞行过程中尽量避免与楼梯发生碰撞。

室内楼梯由于台阶之间相互平行，所以在相机所拍摄图像上往往具有相互平行的短线条。因此，考虑先通过Canny边缘检测与概率霍夫线变换检测图像上的直线，然后选取拥有最大数目且斜率相同的直线簇代表图像中的楼梯，与走廊图像检测走廊方向长直线条不同的是，楼梯图像主要检测水平方向的短直线段，且由于相机拍摄角度的影响，直线斜率往往位于[-1，+1]之间。

假设经过Canny边缘检测与概率霍夫线变换预处理并过滤后，由于噪声等因素的干扰，代表楼梯的直线簇相互间往往并不绝对平行，则斜率与k_i相近的近似平行直线数目如下：

其中T为近似平行直线的斜率差值，为不同直线的斜率；1≤l₁≤L，1≤l₂≤L，L为直线簇的直线数量；

图像中的楼梯可以由近似平行直线簇中数量最多的直线簇表示，如图8所示，其数量为：

其中，下标k为直线簇的平均斜率，下标k_ll为直线ll的斜率，1≤ll≤L；

当楼梯在图像中的位置检测完毕后，安全到达楼梯上端则是无人机的主要飞行任务。为了避免无人机因飞行方向错误，而导致在上楼飞行过程中发生碰撞，需要在无人机开始上楼飞行前矫正其机头的朝向：

(1)当楼梯直线平均斜率k＜-ε时，无人机机头偏左，应向右转动；

(2)当楼梯直线平均斜率k＞ε时，无人机机头偏左，应向左转动；

(3)当楼梯直线平均斜率-ε≤k≤ε时，无人机机头正对楼梯，可保持不动；

其中，阈值ε为接近于0的极小正数，用于判断无人机是否正对楼梯，即无人机机头朝向是否与楼梯直线近似垂直。当无人机完成机头朝向矫正后，在无人机正式上楼飞行前，还需要保证无人机位于楼梯正中间，此时方能保证上楼飞行过程中不会与左右两边的墙壁或栏杆发生碰撞。

假设点与点B(x_j，y_j)为图像上检测到的楼梯段簇左右两个端点，则楼梯中心的横坐标为：

其中，Q为楼梯的线段数，1≤q₁≤Q，1≤q₂≤Q；

由无人机与楼梯中心的相对位置可知：

(7)当时，无人机位于楼梯中心偏左，此时应向右移动；

(8)当时，无人机位于楼梯中心偏右，此时应向左移动；

(9)当时，无人机位于楼梯中心，可保持不动；

其中，阈值δ^*为接近于0的极小正数，用于判断无人机是否处于楼梯中心位置，分别为无人机与楼梯的水平坐标。

情形3.室内拐角一般位于走廊尽头负责连接走廊与楼梯，或者位于当前楼梯的尽头，负责连接上下两级相邻楼梯。与走廊、楼梯等环境不同，拐角类环境并没有明显的视觉特征，即无法通过直接的图像处理方法对其进行检测，因此在由第三章中所述卷积神经网络确定当前环境为拐角后，无人机需要通过探索式的方法完成拐角环境中的飞行。

当无人机所处环境为拐角时，首先通过双目视觉系统获取当前场景的左右图像，并尝试通过立体匹配后获取当前场景的深度图，然而由于大多数由白色墙壁构成的室内拐角不具有显著的视觉特征，因此深度图在某些环境下无法成功获取，此时如同无人机飞行高度控制一样采用非视觉传感器控制无人机距离正前方墙壁的最小距离0.5m。

如图9所示，当无人机所处环境识别为拐角时，首先无人机保持向前飞行，直至经过双目视觉系统或者非视觉传感器(双目视觉失效时使用)测得距离墙壁达到安全距离0.5m时停止向前飞行，然后无人机通过探索式的方法分别向左、向右旋转90°，测得无人机距离当前场景下墙壁距离分别为D₁，D₂，然后朝向D₁，D₂中较大者方向飞行。例如在上述示意图中，D₂＞D₁，此时无人机应向右旋转90°然后向前飞行进入拐角连接的楼梯或者下一级走廊环境。

至此，本实施例搭建了一个双目立体视觉系统作为无人机主要传感器用于获取周围环境图片并进行简单距离估计；构建了一种卷积神经网络对室内环境图片进行分类，以达到符合要求的分类精度并缩短分类所需时间；最后利用不同环境下图像不同的视觉线索执行不同的飞行策略，完成无人机室内自主导航。

根据本实施例的方法，可以在室内走廊环境、楼梯环境、拐角环境以及混合环境完成无人机室内自主导航。如表1，2所示，走廊环境下，消失点平均检测成功率为96％，无人机自主导航平均成功率为88％；

表1消失点检测实验结果表

环境

走廊1

走廊2

走廊3

走廊4

走廊5

平均

实验次数

10

10

10

10

10

10

检测成功率

100％

100％

90％

100％

90％

96％

表2无人机走廊飞行实验结果表

环境

走廊1

走廊2

走廊3

走廊4

走廊5

平均

实验次数

10

10

10

10

10

10

飞行成功率

100％

90％

70％

100％

80％

88％

如表3，4所示，楼梯检测成功率为100％，无人机自主导航平均成功率为86.67％；拐角环境下，成功率为100％；

表3楼梯检测实验结果表

环境	楼梯1	楼梯2	楼梯3	平均
					实验次数	10	10	10	10
检测成功率	100％	100％	100％	100％

表4无人机楼梯飞行实验结果

环境	楼梯1	楼梯2	楼梯3	平均
					实验次数	10	10	10	10
检测成功率	90％	80％	90％	86.670％

如表5所示，在混合环境下，无人机自主导航整体成功率在80％以上。

表5无人机混合环境飞行实验结果

Claims (4)

1.一种无人机室内自主导航方法，其特征在于，包括以下步骤：

步骤1.搭建双目立体视觉系统

步骤1.1相机标定，获取左右两个相机的内往外参数和畸变模型；

步骤1.2图像矫正

首先利用相机的内往外参数完成世界坐标系到相机坐标系的转换，然后利用相机畸变系数对相机坐标进行矫正后得到较为准确的像素坐标；

步骤1.3三角测距

获取该点到相机间的距离z：

其中，u₁和u₂分别为空间中同一点在左右相机成像平面上的横坐标，d为视差，f为相机焦距，b为两个相机光心之间的距离；

步骤2.环境分类

卷积神经网络包括依次连接的卷积层1、池化层1、看、卷积层2、池化层2、卷积层3、池化层3、卷积层4、池化层4和隐层9；其中，网络输入为32×32图像，输出为3×1向量，用于表示当前图像对应分类于走廊、楼梯、拐角等三类环境的概率；

其中，各神经元激活函数为ReLu函数：

f(v)＝max(0，v) (4)

其中，v为神经元激活前的输出，max表示求最大值，f(v)为经激活后的输出；

选取交叉熵作为网络输出的损失函数：

其中，C为损失函数，n为样本数，a为神经元的实际输出，a＝f(z)，z＝∑w_ix_i+b，w_i为权重，x_i为x的*第i个元素，i为正整数，b为偏置，x^*为每一层神经元的输入，y^*为真实标签；

在反向传播过程中，使用Momentum进行优化，如下式：

其中，l为当前迭代次数，d_l为第l次更新方向，θ_l为待估计参数，g(θ_l-1)为当前梯度方向，E为误差，α为学习率，β为上次更新方向衰减系数；

步骤3.当通过卷积神经网络确定无人机所处环境后，针对不同的环境设计不同飞行策略，用于完成无人机室内自主导航；

情形1.无人机位于室内走廊环境；

首先对走廊图像进行Canny边缘检测与概率霍夫线变换获取图像中的直线，将图像所检测到的直线中斜率接近于0或接近于无穷的直线剔除，直线交点坐标：

其中，(k₁，b₁)，(k₂，b₂)分别为两直线的斜率与截距，；x和y分别为二维成像平面上任一点的X轴和Y轴坐标；

使用划分图像网格的方法，通过寻找直线交点数目最多的网格点，作为消失点的初始估计位置；假设在预处理后的尺寸大小为W×H的图像I上划分N×N的网格，每个网格点的尺寸大小为(W/N)×(H/N)，则每个网格点中直线交点的个数I_{(m′，n′)}如下式所示：

其中，(x_k，y_k)为图像上直线焦点坐标，K为直线焦点个数，1≤k≤K，(m′，n′)为图像上的格点坐标，1≤m′≤M，1≤n′≤N；

消失点的初始估计位置(x^*，y^*)为：

其中，(m^*，n^*)为直线交点数最多的网格点：

采用邻域求平均的方法进一步估计消失点的位置

其中，U为该领域内所有点u组合成的集合，|U|为集合内点的个数：

U＝{k∈[0，K)：||(x_u，y_u)-(x^*，y^*)||²≤δ} (13)

其中，δ为点(x^*，y^*)的邻域半径；

假设消失点P在左右图像上的相机坐标分别为p_l(x_l，y₀)、p_r(x_r，y₀)，则无人机与消失点水平方向的位置关系分类三类：

(1)无人机正对消失点，x_l≥0，x_r≤0，无人机保持当前飞行状态；

(2)无人机在消失点左边，x_l＞0，x_r＞0，无人机应向右调整；

(3)无人机在消失点右边，x_l＜0，x_r＜0，无人机应向左调整。

情形2.无人机位于室内楼梯环境；

经过Canny边缘检测与概率霍夫线变换预处理并过滤后，代表楼梯的直线簇相互间往往并不绝对平行，则斜率与k_i相近的近似平行直线数目如下：

其中T为近似平行直线的斜率差值，为不同直线的斜率；1≤l₁≤L，1≤l₂≤L，L为直线簇的直线数量；

图像中的楼梯由近似平行直线簇中数量最多的直线簇表示，其数量为：

其中，下标k为直线簇的平均斜率，下标k_ll为直线ll的斜率，1≤ll≤L；

无人机开始上楼飞行前矫正其机头的朝向：

(1)当楼梯直线平均斜率k＜-ε时，无人机机头偏左，应向右转动；

(2)当楼梯直线平均斜率k＞ε时，无人机机头偏左，应向左转动；

(3)当楼梯直线平均斜率-ε≤k≤ε时，无人机机头正对楼梯，保持不动；

其中，阈值ε为接近于0的极小正数；

令点与点B(x_j，y_j)为图像上检测到的楼梯段簇左右两个端点，则楼梯中心的横坐标为：

其中，Q为楼梯的线段数，1≤q₁≤Q，1≤q₂≤Q；

由无人机与楼梯中心的相对位置可知：

(1)当时，无人机位于楼梯中心偏左，此时应向右移动；

(2)当时，无人机位于楼梯中心偏右，此时应向左移动；

(3)当时，无人机位于楼梯中心，可保持不动；

其中，阈值δ^*为接近于0的极小正数，x，分别为无人机与楼梯的水平坐标；

情形3.无人机位于室内拐角

首先通过双目视觉系统获取当前场景的左右图像，并尝试通过立体匹配后获取当前场景的深度图，采用非视觉传感器控制无人机距离正前方墙壁的最小距离0.5m。

2.根据权利要求1所述的无人机室内自主导航方法，其特征在于，步骤1中获取左右两个相机的内往外参数和畸变模型的具体方法为：

获取左右两个相机的内往外参数：

其中，[u，v，1]^T和[x_w，y_w，z_w，1]^T分别为空间中同一点在世界坐标系与像素坐标系下的齐次坐标，Z_C为该点在相机坐标系下的Z轴坐标；K_3×3为相机的内参矩阵，R_3×3和为相机的外参矩阵，分别为两个相机坐标系之间的旋转关系和平移关系；P_3×4为内外参矩阵构成的投影矩阵；

获取左右两个相机的畸变模型：

其中，k_i和p_i为待估计的畸变参数，i为正整数；x和y分别为二维成像平面上任一点的X轴和Y轴坐标，r为该点到原点的距离；δ_x，δ_y分别为该点受畸变影响带来的X轴和Y轴方向上坐标误差。

3.根据权利要求1所述的无人机室内自主导航方法，其特征在于，步骤2中上次更新方向衰减系数β取0.9。

4.根据权利要求1所述的无人机室内自主导航方法，其特征在于，步骤3中情形3的具体操作为：

当无人机所处环境识别为拐角时，首先无人机保持向前飞行，直至经过双目视觉系统或者非视觉传感器测得距离墙壁达到安全距离0.5m时停止向前飞行，然后无人机通过探索式的方法分别向左、向右旋转90°，测得无人机距离当前场景下墙壁距离分别为D₁，D₂，然后朝向D₁，D₂中较大者方向飞行。