CN106931961B - 一种自动导航方法及装置 - Google Patents

Abstract

本发明公开了一种自动导航方法及装置，通过获取多目摄像系统拍摄的当前地理位置的场景视频；根据场景视频，计算多目摄像系统中相机的空间位置和姿态信息；对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；根据第一环境物体深度图以及第二环境物体深度图，构建局部障碍物地图；将局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。本申请有效解决了传统深度算法视角和运动的限制，能够进行自身位置定位、感知障碍物、自动生成安全路径，定位精度高、安全路径优，可应用于机器人或娱乐无人机等移动平台中。

Description

一种自动导航方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种自动导航方法及装置。

背景技术

随着无人机、机器人、无人驾驶车辆等产品技术飞速发展，对导航系统和方法的需求也大幅度提高。自动导航是指运动体按照预先给定的任务命令，根据已知的地图信息做出全局路径规划，并在行进过程中，不断感知周围的局部环境信息，做出各种决策，随时调整自身的姿态与位置，引导自身安全运动，直至目标位置。现有的自动导航方法或系统，主要有基于定位和循迹技术两种方式。定位的自动导航方式相对更为智能化，并且研究上市场上也应用颇多，常见的有GPS、超声波、红外、视觉等技术。

目前，无人机等产品主要使用全球自动定位系统(GPS)和惯性导航系统(IMU)实现导航定位。GPS的估计精度直接取决于参与定位的卫星的数量以及接收设备接收到的信号的质量，同时还受电台的影响。此外，相邻设备的无线电频率干扰或信道堵塞都可能导致位置估计的不可靠。在无法使用或获得有效GPG信号的时候，无人机的导航智能依靠惯性导航系统(IMU)，而高精度的惯性导航系统依靠于高精度的传感器，这一方面增加了成本，另一方面增加了无人机等设备的载荷。这些问题都是普遍存在且难以解决的问题。

超声波和红外导航定位技术有分辨率高的优点，但是这些技术对发射设备和接收设备的要求比较高，设备成本高，同时增加了无人机等产品的载重。

而视觉传感器具有重量轻、功耗小、探测距离远、分辨率高的优点，因此，视觉导航系统和方法有很大的应用市场，是本领域技术人员值的研究和探索的课题。

发明内容

本发明的目的是提供一种自动导航方法及装置，能够基于视觉实现定位自身位置、感知障碍物的功能，定位精度高，实用性强。

为解决上述技术问题，本发明提供一种自动导航方法，包括：

获取多目摄像系统拍摄的当前地理位置的场景视频；

根据所述场景视频，计算所述多目摄像系统中相机的空间位置和姿态信息；

对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；

对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；

根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图；

将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。

可选地，所述计算所述多目摄像系统中相机的空间位置和姿态信息包括：

采用直线法对同一摄像机时间连续的相邻两帧图像进行对齐；

提取图像中的哈里斯角点，进行特征点匹配；

将相机拍摄的图像投影到相邻帧图像中，得到对应的重投影图像；

对图像光学残差进行优化，计算相机的空间位置和姿态信息。

可选地，所述对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图包括：

根据匹配代价函数计算匹配代价；

在预设区域内进行匹配代价叠加；

获取深度信息，生成第一环境物体深度图。

可选地，所述根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图包括：

根据所述第一环境物体深度图以及所述第二环境物体深度图，确定图像中的外点，所述外点为在相邻帧图像中存在匹配点且在同时刻不同相机图像中也存在匹配点的点；

删除所述第一环境物体深度图中的外点，保留所述第二环境物体深度图中的外点；

将剔除外点后的所述第一环境物体深度图与所述第二环境物体深度图进行拼接，得到所述局部障碍物地图。

可选地，所述将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径包括：

采用距离变换，将所述局部障碍物地图映射到安全距离空间，得到距离矩阵；

在所述距离矩阵中定义惩罚函数，利用A*算法进行搜索，生成局部安全路径。

可选地，所述在所述距离矩阵中定义惩罚函数，利用A*算法进行搜索，生成局部安全路径包括：

对所述距离矩阵进行PTG变换，将障碍物局部目标点以及移动平台参数映射到低维度空间中；

在降维后的空间中进行搜索，生成局部安全路径。

可选地，在所述将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径之后还包括：

根据所述安全路径，实时获取速度命令，输出最优控制信号。

本发明还提供了一种自动导航装置，包括：

视频获取模块，用于获取多目摄像系统拍摄的当前地理位置的场景视频；

计算模块，用于根据所述场景视频，计算所述多目摄像系统中相机的空间位置和姿态信息；

第一深度图生成模块，用于对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；

第二深度图生成模块，用于对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；

局部障碍物地图构建模块，用于根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图；

安全路径确定模块，用于将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。

可选地，还包括：

控制信号输出模块，用于在将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径之后，根据所述安全路径，实时获取速度命令，输出最优控制信号。

本发明所提供的自动导航方法及装置，通过获取多目摄像系统拍摄的当前地理位置的场景视频；根据场景视频，计算多目摄像系统中相机的空间位置和姿态信息；对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；根据第一环境物体深度图以及第二环境物体深度图，构建局部障碍物地图；将局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。本申请将时间相关和空间相关两种不同视觉深度感知方法结合到一起，有效解决了传统深度算法视角和运动的限制，能够进行自身位置定位、感知障碍物、自动生成安全路径，定位精度高、安全路径优，可应用于机器人或娱乐无人机等移动平台中。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的自动导航方法的一种具体实施方式的流程图；

图2为本发明实施例中计算所述多目摄像系统中相机的空间位置和姿态信息的过程示意图；

图3为本发明实施例中生成第一环境物体深度图的过程示意图；

图4为本发明实施例中构建局部障碍物地图的过程示意图；

图5为本发明实施例中确定从当前位置到预设目的地的安全路径的过程示意图；

图6为本发明所提供的自动导航方法的另一种具体实施方式的流程图；

图7为立体匹配深度估计示意图；

图8为局部地图示意图；

图9为A*算法结合距离变换示意图；

图10为PTG变换示意图；

图11为PTG变换输出控制信号流程示意图；

图12为本发明实施例提供的自动导航装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的自动导航方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：获取多目摄像系统拍摄的当前地理位置的场景视频；

步骤S102：根据所述场景视频，计算所述多目摄像系统中相机的空间位置和姿态信息；

请参照图2，本步骤中计算所述多目摄像系统中相机的空间位置和姿态信息的过程可以具体包括：

步骤S1021：采用直线法对同一摄像机时间连续的相邻两帧图像进行对齐；

利用直线法对同一摄像机时间连续的相邻两帧图像I_c,k,I_c,k+1进行对齐，其中，c表示相机的编号，k表示图像的编号。

步骤S1022：提取图像中的哈里斯角点，进行特征点匹配；

步骤S1023：将相机拍摄的图像投影到相邻帧图像中，得到对应的重投影图像；

步骤S1024：对图像光学残差进行优化，计算相机的空间位置和姿态信息。

步骤S103：对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；

相同相机时间连续的两帧图像I_c,k、I_c,k+1采用立体匹配，产生环境物体深度图DepthMap1。

参照图3，本步骤中对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图的过程可以具体包括：

步骤S1031：根据匹配代价函数计算匹配代价；

步骤S1032：在预设区域内进行匹配代价叠加；

步骤S1033：获取深度信息，生成第一环境物体深度图。

步骤S104：对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；

不同相机相同时间(T时刻)的两帧图像I_c,k,I_c1,k基于一直基线的立体匹配，产生环境物体深度图DepthMap2。

步骤S105：根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图；

具体地，本步骤可以通过剔除外点，结合RGB颜色通道信息，整合DepthMap1和DepthMap2得到DepthMap3，构建局部障碍物地图。通过本发明实施例步骤可以扩大障碍物地图的视野，提高路径的规划精度。

参照图4，本步骤中根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图的过程可以具体包括：

步骤S1051：根据所述第一环境物体深度图以及所述第二环境物体深度图，确定图像中的外点，所述外点为在相邻帧图像中存在匹配点且在同时刻不同相机图像中也存在匹配点的点；

由上述立体匹配方法，可以得出图像图像I_c,k中的像素点在图像I_c,k+1和图像I_c1,k的匹配点，如果图像I_c,k中的某一点满足：x在图像I_c,k+1中存在匹配点且在图像I_c1,k中也存在匹配点，那么点x为外点。

步骤S1052：删除所述第一环境物体深度图中的外点，保留所述第二环境物体深度图中的外点；

删除DepthMap1中的外点，保留DepthMap2中的外点。

步骤S1053：将剔除外点后的所述第一环境物体深度图与所述第二环境物体深度图进行拼接，得到所述局部障碍物地图。

将剔除外点以后的DepthMap1与DepthMap2沿着外点边界拼接，得到DepthMap3，DepthMap3为局部障碍物地图。

步骤S106：将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。

采用距离变换，将局部障碍物地图映射到安全距离空间，得到MAP_DIST。在MAP_DIST中，例边界点越远的点越亮，处在该点的无人机越安全。距离变换描述为：首先将图像二值化，然后给每个像素赋值为离它最近的背景像素到它的距离，即可得到距离矩阵，即MAP_DIST。

考虑移动平台具体参数，在MAP_DIST中定义惩罚函数F，即代价函数，利用A*算法搜索产生局部安全路径PATH。

参照图5，本步骤中将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径的过程可以具体包括：

步骤S1061：采用距离变换，将所述局部障碍物地图映射到安全距离空间，得到距离矩阵；

步骤S1062：在所述距离矩阵中定义惩罚函数，利用A*算法进行搜索，生成局部安全路径。

本发明所提供的自动导航方法，通过获取多目摄像系统拍摄的当前地理位置的场景视频；根据场景视频，计算多目摄像系统中相机的空间位置和姿态信息；对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；根据第一环境物体深度图以及第二环境物体深度图，构建局部障碍物地图；将局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。本申请将时间相关和空间相关两种不同视觉深度感知方法结合到一起，有效解决了传统深度算法视角和运动的限制，能够进行自身位置定位、感知障碍物、自动生成安全路径，定位精度高、安全路径优，可应用于机器人或娱乐无人机等移动平台中。

进一步地，在所述距离矩阵中定义惩罚函数，利用A*算法进行搜索，生成局部安全路径又可以进一步包括：对所述距离矩阵进行PTG变换，将障碍物局部目标点以及移动平台参数映射到低维度空间中；在降维后的空间中进行搜索，生成局部安全路径。

为了提高搜索效率，将距离空降降维，这一目标通过将距离空间MAP_DIST进行PTG变换，得到距离空间MAP_DIST低维度的PTG空间。具体可以为：截取局部目标点，根据移动平台的运动特征(参数化运动模型)将局部信息(包括障碍物局部目标点以及移动平台参数)由PTG变换映射到低维度的PTG空间。具体为：PTG变换即是通过参数化运动模型作为约束，将配置空间(C_Space)通过PTG的逆函数进行数学变换转变成TP_Space，简单的，就是由3维的距离空间降维到2维的PT空间。

进一步地，得到最佳路径规划以后，结合安全性、连续性、实时性及运动限制(移动平台运动特征参数运动模型)四个方面因素，本发明实施例还可以进一步包括：实时获得速度命令，输出最优控制信号VEL。

参照图6，下面对本发明所提供的自动导航方法的另一种具体实施方式进行进一步详细阐述。该方法具体包括：

步骤S201：获取当前地理位置的场景视频。

利用多目摄像系统拍摄当前地理位置的场景视频。

步骤S202：图像对齐：利用直线法对同一摄像机时间连续的相邻两帧图像I_c,k,I_c,k+1进行对齐(c表示相机的编号,k表示图像的编号)，优化图像光学残差，计算相机空间位置和姿态。

本步骤具体如下：

步骤S2021：进行特征点匹配：提取图像中的harris角点，该过程可以具体描述为：

利用水平、竖直差分算子对图像每个像素进行滤波以求得I_x、I_y，进而求得像素点n中四个元素的值，如下：

其中，

其中，I_x、I_y分别是水平和垂直方向的方向导数。

对像素点n中的四个元素进行平滑滤波，得到新的m。在此，利用离散二维零均值高斯滤波器对n的四个元素进行平滑。离散二维零均值高斯函数为：

步骤S2022：匹配特征点。如果图像I_c,k的某一点以它的邻域的点与图像I_c,k+1中的某一点以及它的邻域的点的匹配度达到一定要求，则认为这两个点是匹配的。

步骤S2023：将第c个相机拍摄的图像I_c,k投影到图像I_c,k+1中，得到对应的重投影图像I′_c,k，其中，具体为：

I′_c,k＝R_c,k,(k+1)×T_c,k,(k+1)×I_c,k+1

其中，R_c,k,(k+1)、T_c,k,(k+1)分别为图像I_c,k到图像I_c,k+1的旋转矩阵和平移矩阵，由相机标定即可得到。

步骤S2024：优化光学残差。由于光学残差引起图像I_c,k投影到图像I_c,k+1的位置有误差，为了得到比较精确的测量数据，需要优化光学残差引起的重投影位置。利用牛顿高斯法优化光学残差，光学残差既是相机位姿残差(重投影误差)。

优化光学残差是一个根据重投影误差求相机位姿(R，T)的问题，是一个非线性最小二乘问题，进一步的描述为：优化残差，然后计算位姿。利用高斯牛顿法求解光学残差最小二乘问题，具体如下：

目标函数：

计算相机位姿残差残差：

其中，x'_c,k、x_c,k+1分别为由某点从图像I_c,k投影到图像I_c,k+1的位置和该点在图像I_c,k+1的真实位置。

牛顿迭代估计像素投影位置：

其中，x^(k)表示第k次迭代估计出的像素的位置，H为函数f(x)的黑森矩阵，

为f(x)的梯度它们的数学表达式如下：

迭代直至收敛，即可得到优化后的相机位姿(R^*,T^*)，从而由下式计算得到优化后的重投影图像I′_c,k：

步骤S203：时间相关立体匹配：相同相机时间连续的两帧图像I_c,k、I_c,k+1采用立体匹配，产生环境物体深度图DepthMap1。立体匹配示意图如图7所示。匹配方法描述为：

步骤S2031：计算匹配代价：匹配代价函数数学描述如下：

其中，T为设定的阈值。

步骤S2032：区域匹配代价叠加，点x'_c,k与点x_c,k的区域匹配代价叠加值描述为点x'_c,k与点x_c,k的一定领域内的匹配代价叠加，具体计算如下：

其中，n为点x'_c,k与点x_c,k的一定领域内的像素数量。

步骤S2032：获取深度，得到深度图DepthMap1，深度图DepthMap1就是由深度Z的点云数据组成。取匹配代价叠加值最小的点作为对应匹配点。深度的计算公式为：

其中，x_c,k和x_c,k+1表示同一相机c的相邻两帧图像的匹配点对在像素坐标系下的横坐标。b为一定值，一般的，b＝1，f表示相机焦距。

步骤S204：空间相关立体匹配：不同相机相同时间(T时刻)的两帧图像I_c,k,I_c1,k基于一直基线的立体匹配，产生环境物体深度图DepthMap2。匹配方法如步骤S203所示。深度图DepthMap2的深度计算为：

其中，x_c,t和x_c1,t表示不同相机c、c1同一间t的图像的匹配点对在像素坐标系下的横坐标，B为两个相机之间的基线长度，f表示相机焦距。

步骤S205：构建局部地图：剔除外点，结合RGB颜色通道信息，整合DepthMap1和DepthMap2得到DepthMap3，构建局部障碍物地图。这样，扩大了障碍物地图视野，提高了路径规划精度。具体方式为：

步骤S2051：搜索外点：由步骤S203和步骤S204中的匹配方法已经得出图像图像I_c,k中的像素点在图像I_c,k+1和图像I_c1,k的匹配点，如果图像I_c,k中的某一点满足：x在图像I_c,k+1中存在匹配点且在图像I_c1,k中也存在匹配点，那么点x为外点。

步骤S2052：剔除外点：删除DepthMap1中的外点，保留DepthMap2中的外点。

步骤S2053：整合深度图：将剔除外点以后的DepthMap1与DepthMap2沿着外点边界拼接，得到DepthMap3。DepthMap3为局部局部障碍物地图，如图8局部地图示意图所示。

步骤S206：距离变换：采用距离变换，将局部障碍物地图映射到安全距离空间，得到MAP_DIST。在MAP_DIST中，例边界点越远的点越亮，处在该点的无人机越安全。距离变换描述为：首先将图像二值化，然后给每个像素赋值为离它最近的背景像素到它的距离，即可得到距离矩阵，即MAP_DIST。

步骤S207：搜索安全路径：考虑移动平台具体参数，在MAP_DIST中定义惩罚函数F，即代价函数，利用A*算法搜索产生局部安全路径PATH。A*算法结合距离变换示意图如图9所示。算法是一种静态路网中求解最短路最有效的直接搜索方法，A*算法解决路径规划问题过程如下所述：

定义从起点得到终点的估价函数：F(n)＝g(n)+h(n)。

其中，g(n)是状态空间(距离空间MAP_DIST)中从起点到第n个节点的实际代价，h(n)是从第n个节点到终点的最佳路径估计代价。保证找到最短路径关键在于估价函数h(n)的选取。

估价值h(n)≤n到目标节点的距离实际值，在这种情况下，搜索的点最多，搜索范围最大，效率低。但是能够得到最优解，并且如果估计距离h(n)等于最短距离，那么搜索将严格沿着最短路径进行，此时的搜索效率是最高的。

步骤S208：TPG空间映射：为了提高搜索效率，将距离空降降维，这一目标通过将距离空间MAP_DIST进行PTG变换，得到距离空间MAP_DIST低维度的PTG空间。PTG变换示意图如图10所示。TPG变换简单描述为：截取局部目标点，根据移动平台的运动特征(参数化运动模型)将局部信息(包括障碍物局部目标点以及移动平台参数)由PTG变换映射到低维度的PTG空间。具体为：PTG变换即是通过参数化运动模型作为约束，将配置空间(C_Space)通过PTG的逆函数进行数学变换转变成TP_Space，简单的，就是由3维的距离空间降维到2维的PT空间。即：

{(x,y),φ}→(α,d)

其中，C为采样空间，

为感兴趣单位元区域，A＝{α|α∈[-π,π]},D＝{d|d∈[0,1]}。

上式利用如图11变换输出控制信号流程示意图所示的路径模型将障碍点和目标从C_Space空间转换到相应的TP_Space。在最终的TP_Space中，无人机将变成一个自由点，因此，可以运用任意方法在第i个TP_Space获取最佳路径

步骤S209：输出最优控制信号：得到最佳路径规划以后，结合安全性、连续性、实时性及运动限制(移动平台运动特征参数运动模型)四个方面因素，通过下述方法实时获得速度命令，输出最优控制信号VEL。实时获得速度命令方法具体如下：

步骤S2091：对于每一个路径模型，运用它相应的PTG转换障碍物和目标到相关的TP_space。

步骤S2092：对于每一个路径模型，应用完整的响应方法在TP_Space上获得最佳路径

步骤S2093：在从不同的TP_Space里的获得的候选最佳路径

中选出最佳路径α_b。

步骤S2094：计算直线速度和角速度，并传入自动单元。

根据不同的移动平台的运动特征选取相应的运动模型进行PTG空间映射，使得本发明方法适用平台多、适用范围广、信号输出准确度高，同时，提高了减少了路径搜索时间，提高了路径搜索速度。

步骤S210：重复执行步骤S201至步骤S209的过程，直到到达预设目的地为止。

本发明实施例通过采用以上方案，具有以下有益效果：

1.本发明实施例将时间相关和空间相关两种不同视觉深度感知方法结合，有效解决传统深度算法视角和运动等限制；

2.本发明实施例将A*算法应用到距离变换映射后的几何空间，目标函数考虑安全因素，直接输出最安全路径；

3.本发明实施例将运动平台参数编码到PTG映射参数中，不受具体运动平台参数限制；

4.本发明实施例将C-Space映射到TG空间，在低维度TG空间计算瞬时速度VEL，简化计算保证实时输出控制信号；

5.本发明实施例根据不同的移动平台的运动特征选取相应的运动模型进行PTG空间映射，使得本发明方法适用平台多、适用范围广、信号输出准确度高，同时，提高了减少了路径搜索时间，提高了路径搜索速度。

下面对本发明实施例提供的自动导航装置进行介绍，下文描述的自动导航装置与上文描述的自动导航方法可相互对应参照。

图12为本发明实施例提供的自动导航装置的结构框图，参照图12自动导航装置可以包括：

视频获取模块100，用于获取多目摄像系统拍摄的当前地理位置的场景视频；

计算模块200，用于根据所述场景视频，计算所述多目摄像系统中相机的空间位置和姿态信息；

第一深度图生成模块300，用于对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；

第二深度图生成模块400，用于对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；

局部障碍物地图构建模块500，用于根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图；

安全路径确定模块600，用于将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。

作为一种具体实施方式，本发明所提供的自动导航装置还可以进一步包括：

控制信号输出模块，用于在将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径之后，根据所述安全路径，实时获取速度命令，输出最优控制信号。

本实施例的自动导航装置用于实现前述的自动导航方法，因此自动导航装置中的具体实施方式可见前文中的自动导航方法的实施例部分，例如，视频获取模块100，计算模块200，第一深度图生成模块300，第二深度图生成模块400，局部障碍物地图构建模块500，安全路径确定模块600，分别用于实现上述自动导航方法中步骤S101，S102，S103，S104，S105和S106，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明所提供的自动导航装置，通过获取多目摄像系统拍摄的当前地理位置的场景视频；根据场景视频，计算多目摄像系统中相机的空间位置和姿态信息；对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；根据第一环境物体深度图以及第二环境物体深度图，构建局部障碍物地图；将局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。本申请将时间相关和空间相关两种不同视觉深度感知方法结合到一起，有效解决了传统深度算法视角和运动的限制，能够进行自身位置定位、感知障碍物、自动生成安全路径，定位精度高、安全路径优，可应用于机器人或娱乐无人机等移动平台中。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的自动导航方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种自动导航方法，其特征在于，包括：

获取多目摄像系统拍摄的当前地理位置的场景视频；

根据所述场景视频，计算所述多目摄像系统中相机的空间位置和姿态信息；

对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；

对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；

根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图；

将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。

2.如权利要求1所述的自动导航方法，其特征在于，所述计算所述多目摄像系统中相机的空间位置和姿态信息包括：

采用直线法对同一摄像机时间连续的相邻两帧图像进行对齐；

提取图像中的哈里斯角点，进行特征点匹配；

将相机拍摄的图像投影到相邻帧图像中，得到对应的重投影图像；

对图像光学残差进行优化，计算相机的空间位置和姿态信息。

3.如权利要求2所述的自动导航方法，其特征在于，所述对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图包括：

根据匹配代价函数计算匹配代价；

在预设区域内进行匹配代价叠加；

获取深度信息，生成第一环境物体深度图。

4.如权利要求3所述的自动导航方法，其特征在于，所述根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图包括：

根据所述第一环境物体深度图以及所述第二环境物体深度图，确定图像中的外点，所述外点为在相邻帧图像中存在匹配点且在同时刻不同相机图像中也存在匹配点的点；

删除所述第一环境物体深度图中的外点，保留所述第二环境物体深度图中的外点；

将剔除外点后的所述第一环境物体深度图与所述第二环境物体深度图进行拼接，得到所述局部障碍物地图。

5.如权利要求1至4任一项所述的自动导航方法，其特征在于，所述将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径包括：

采用距离变换，将所述局部障碍物地图映射到安全距离空间，得到距离矩阵；

在所述距离矩阵中定义惩罚函数，利用A*算法进行搜索，生成局部安全路径。

6.如权利要求5所述的自动导航方法，其特征在于，所述在所述距离矩阵中定义惩罚函数，利用A*算法进行搜索，生成局部安全路径包括：

对所述距离矩阵进行PTG变换，将障碍物局部目标点以及移动平台参数映射到低维度空间中；

在降维后的空间中进行搜索，生成局部安全路径。

7.如权利要求6所述的自动导航方法，其特征在于，在所述将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径之后还包括：

根据所述安全路径，实时获取速度命令，输出最优控制信号。

8.一种自动导航装置，其特征在于，包括：

视频获取模块，用于获取多目摄像系统拍摄的当前地理位置的场景视频；

计算模块，用于根据所述场景视频，计算所述多目摄像系统中相机的空间位置和姿态信息；

第一深度图生成模块，用于对相同相机时间连续的两帧图像进行时间相关立体匹配，生成第一环境物体深度图；

第二深度图生成模块，用于对不同相机相同时间的两帧图像进行空间相关立体匹配，生成第二环境物体深度图；

局部障碍物地图构建模块，用于根据所述第一环境物体深度图以及所述第二环境物体深度图，构建局部障碍物地图；

安全路径确定模块，用于将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径。

9.如权利要求8所述的自动导航装置，其特征在于，还包括：

控制信号输出模块，用于在将所述局部障碍物地图映射到安全距离空间，确定从当前位置到预设目的地的安全路径之后，根据所述安全路径，实时获取速度命令，输出最优控制信号。

Images