CN109785419A - 基于orbslam的无人机视频影像实时定向与生成稀疏点云的方法 - Google Patents

Abstract

本发明公开了一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，该方法采用二维拉普拉斯算子进行模糊度检测从而剔除模糊帧，并采用相位相关算法进行运动估计，初步剔除位移较小的帧，从而减少了特征匹配的运算量；在闭环检测与图优化部分，提出了一种自适应的阈值的闭环检测算法，并利用感知哈希算法对影像的相似性进行加权处理，改善了构建图的连通性，从而提升了闭环检测与图优化的可靠性与精度。本发明方法基于ORBSLAM框架，考虑到无人机视频数据的特殊性，从关键帧选取、闭环检测、图优化三部分进行了改进，实现了无人机图传视频影像实时定向与点云生成。

Description

基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的 方法

技术领域

本发明涉及SLAM技术，尤其涉及一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法。

背景技术

地质灾害会造成巨大的财产损失和人员伤亡，在灾害发生过程中与发生后及时获取现场信息并转化为有效数据、为救灾提供帮助即为当前头等问题。载人飞机与传统卫星遥感技术因成本和现场环境因素的限制，只有在某些情况下才能满足需求，而无人机系统与之相比有其独特的优势。使用无人机获取航拍视频并实时处理获取有效的地形地貌数据将会给应急救灾领域提供巨大的帮助。

SLAM是Simultaneous Location and Mapping的缩写，即为“同时定位与地图构建”。它是指在没有环境先验信息的基础上搭载某种特定传感器的主体，在运动过程中建立周围环境的模型并同时估计自己的运动。在此讨论的传感器主要为相机，即根据一张张连续运动的图像来推断相机的运动与恢复周围环境的情况，故称为“视觉SLAM”。

只使用一个摄像头进行SLAM的做法称作“单目SLAM”，视频数据即为连续的一帧帧单张相片，而相片的本质为外部环境在成像平面上的一个投影，以二维的相片反映了三维的环境。在投影过程中我们无法通过单张相片来计算场景中物体距离相机投影中心的距离，即损失了深度信息。如果想恢复三维结构则需要改变相机的视角，在单目SLAM中我们通过移动相机来估计它的运动(Motion)，同时估计场景中物体的远近大小，即结构(Structure)。当相机移动时，近处物体在相片上运动快，远处物体则相反，这在逐帧图片上形成了视差。视差可以让我们获得物体的远近信息，但这仍然是一个相对值。所以单目SLAM估计的轨迹和地图，与真实世界相差一个统一的比例，称之为尺度(Scale)。

经典的视觉SLAM框架主要包含了视频信息读取，视觉里程计，后端优化，回环检测以及建图五个部分。其中视觉里程计(Visual Odometry，VO)的主要任务是估算相邻图像间的运动和构建局部地图，又称为前端，提供了各帧位姿信息的初值；后端优化(Optimization)则接收各帧提供的位姿信息初值和回环检测的信息，根据匹配信息的限制对解进行优化，得到全局一致的运动轨迹和地图。回环检测(Loop Closing)负责判断新帧的内容是否为之前经过的部分，从而构成回环，为优化提供了限制条件。建图(Mapping)为SLAM的主要输出，有多种表达形式。可以是点云图或是拼接的影像等等，主要提供了相机的运动轨迹和附近环境的信息。

现有单目视觉SLAM系统中，稳定性、实时性最佳的开源框架为ORBSLAM，但将其应用到无人机视频数据，尚有以下不足：

(1)低空无人机视频中存在由于晃动引起的模糊，模糊帧在特征匹配中所带来的误匹配会对整体结果造成较大影响；

(2)ORBSLAM对每一帧都进行特征匹配，效率较低，影响计算速度；

(3)低空无人机视频数据中地物丰富，而现阶段实时处理通常使用的ORB特征往往分布不均匀(通常植被区域提取的ORB特征很少)。因此，在回环检测阶段根据匹配到的特征点数量来判断两帧之间的关联性会造成图优化中图的断连、图优化缺少回环的限制；

(4)ORBSLAM中图优化仅根据影像重叠区域判断影像的交会角，对于无人机原地旋转的影像会判断为交会角较大，从而提高该类影像的权重，但实际上，因此需要对无人机原地旋转的影像进行降权处理；

(5)优化基本完全基于对Co-visibility Graph和Essential Graph的最优解，而其中边的定权由匹配特征点的数量决定。这种简单的定权方式在场景变化明显的区域或是场景中某些地物难以提到特征的情况下难以构成比较稳健的网。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法。

本发明解决其技术问题所采用的技术方案是：一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，包括以下步骤：

1)实时采集获取无人机视频影像帧；

2)使用改进的关键帧选取方法选取关键帧；具体如下：

2.1)对输入的影像帧进行模糊度检测，将检测到的模糊帧剔除；采用各向同性微分的拉普拉斯算子进行模糊度检测，将个二维图像f(x,y)的拉普拉斯算子定义为：

在二维图像上，其离散的表达方式为：

用一个卷积核来表示这个滤波器：

由于拉普拉斯为一种微分算子，因此其强调的是图像中灰度的突变，并不强调灰度级缓慢变化的区域，而由连续曝光所造成的模糊往往是这样的；对作拉普拉斯算子卷积后的图像求均值，将均值作为模糊度检测的判定指标，将检测到的低于均值的模糊帧剔除；

2.2)采用相位相关算法进行图传视频帧运动检测，剔除运动位移较小的帧；

对于两张仅存在平移变换的影像，假设f₁(x,y),f₂(x,y)分别为连续的两帧，由于相邻两帧姿态变化很小且相机距离场景较远，可近似认为f₂(x,y)是f₁(x,y)平移(Δx,Δy)得到，即：

f₂(x,y)＝f₁(x-Δx,y-Δy)

根据傅里叶变换到频域，可以表示为：

F₂(x,y)＝F₁(u,v)*e^{-2πi(uΔx+vΔy)}

互功率谱(cross-power spectrum)可表示为：

对互功率谱作反傅里叶变化得到归一化的互相关系数r(Normalized Cross-Correlation)：

r＝F^-1(H(u,v))

在无噪声的情况下，该值只有在(Δx,Δy)处取极大值，在其它地方几乎为0。我们可以通过寻找这个系数的峰值来找到对应点的坐标，因而求得平移量(Δx,Δy)，平移量大小若平移量dist小于设定阈值(0.1D)，则剔除该帧；

在实际运算中，两幅图像互功率谱相位的反变换，总是含有一个相关峰值代表两幅图像的配准点,和一些非相关峰值。相关峰值直接反映两幅图像间的一致程度。

对于存在旋转和平移的两张影像，假设图像f₂(x,y)是图像f₁(x,y)经平移(Δx,Δy)、旋转角度后得到的图像，用下面公式表示为：

根据傅里叶旋转平移特性，FFT变换后两图像间的关系如下：

由上式看出F₁,F₂能量是相同的，把直角坐标转到极坐标可表示如下：

再由仅存在平移影像部分所述的方法，在极坐标系下用相位相关可求出旋转角度最后对图像以角度做旋转，旋转得到图像与原图再次用仅存在平移影像部分所述的方法就可求出图像间的平移参数；

3)采用ORBSLAM中的求解影像位姿的方法，获取关键帧的位姿；

4)闭环检测；

ORB-SLAM在根据BOW特征共有单词数目筛选可能经过的位置时，将共有单词数最大值的0.8倍设为阈值，其意义在于挑选更多的候选帧的前提下剔除那些重叠区域过小的帧。在此我们根据关键帧选取阶段的重叠度进行判断，取新加入关键帧与相邻关键帧的共有单词数为N₀，与新加入关键帧重叠度为50％的临近关键帧共有单词数为N₁，取比例系数k＝N₁/N₀；我们在根据BOW特征共有单词数目筛选可能经过的位置时，将共有单词数最大的k倍设为阈值，即是选取重叠度在50％以上的关键帧为候选帧；ORB-SLAM在根据BOW Score选取闭环帧时将新加入关键帧与共视关键帧BOW Score的最高分的0.75倍和共视帧之间的BOW Score的最低值设为阈值。同理，本专利取新加入关键帧与相邻关键帧的BOW Score为S₀，与新加入关键帧重叠度为50％的临近关键帧的BOW Score为S₁，取比例系数l＝S₁/S₀。则在根据BOW Score选取闭环帧时将新加入关键帧与共视关键帧BOW Score的最高分的l倍设为阈值；

5)优化并更新闭环内的位姿图，完成影像定向；

对优化更新闭环位姿图部分中的定权部分进行了改进，

5.1)计算图传视频帧的哈希指纹，方法如下：

5.1.1)缩小图像尺寸至宽度200至300像素，以减少计算量；

5.1.2)将图像转化成灰度图像，并截取图像的正中间部分，获得一个正方形的新图像，用于进行DCT变换；

5.1.3)计算截取后新图像的DCT变换，得到DCT系数矩阵；

5.1.4)缩小DCT，只保留左上角8×8的矩阵，这个区域保存了图片的低频信息；

5.1.5)计算步骤5.1.4)中8×8矩阵的均值，对于该矩阵上各个数值，若大于均值设为1，小于均值则设为0，可以得到64位的哈希指纹(pHash Fingerprint)；

5.2)计算图优化权重，方法如下：

5.2.1)新加入关键帧后，将该帧作步骤5.1)的pHash处理得到其64位的pHash指纹并保存起来；

5.2.2)搜索与该帧相关的关键帧，即根据地图点中的该点被哪些关键帧观测到的属性，搜索同名点数量大于阈值的关键帧；

5.2.3)计算新加入关键帧与搜索得到的关键帧的pHash指纹间的汉明距离；

5.2.4)将计算所得的汉明距离排序，并根据最大值与最小值作归一化处理；

5.2.5)取汉明距离的归一化值与同名点数量的乘积作为改进的权重；

6)根据影像位姿，利用多视图前方交会三角测量方法，生成稀疏点云。

按上述方案，所述步骤3)采用ORBSLAM原有的求解影像位姿的方法，获取关键帧的位姿:首先进行ORB特征匹配，利用常规PnP方法求解影像帧粗略位姿之后，再进行局部光束法平差求解精确的位姿。

本发明产生的有益效果是：本发明基于ORBSLAM框架，考虑到无人机视频数据的特殊性，从关键帧选取、闭环检测、图优化三部分进行了一定程度的改进，实现了无人机图传视频影像实时定向与点云生成。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的经典单目视觉SLAM的技术流程图；

图2是本发明实施例的方法流程图；

图3是本发明实施例的改进的关键帧选取方法流程图；

图4是本发明实施例中计算影像DCT变换后的系数矩阵示意图；

图5是本发明实施例中计算获得的影像哈希指纹示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1为经典单目视觉ORB-SLAM的技术流程图，ORB-SLAM的技术方案描述可参考文献：Mur-Artal R,Montiel J M M,Tardós J D.ORB-SLAM:A Versatile and AccurateMonocular SLAM System[J].IEEE Transactions on Robotics,2017,31(5):1147-1163.

在以上方案基础上，本发明提出了一种改进方案。

如图2所示，一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，包括以下步骤：

1)实时采集获取无人机视频影像帧；

2)使用改进的关键帧选取方法选取关键帧；具体如下：

2.1)对输入的影像帧进行模糊度检测，将检测到的模糊帧剔除；采用各向同性微分的拉普拉斯算子进行模糊度检测，将个二维图像f(x,y)的拉普拉斯算子定义为：

在二维图像上，其离散的表达方式为：

用一个卷积核来表示这个滤波器：

由于拉普拉斯为一种微分算子，因此其强调的是图像中灰度的突变，并不强调灰度级缓慢变化的区域，而由连续曝光所造成的模糊往往是这样的；对作拉普拉斯算子卷积后的图像求均值，将均值作为模糊度检测的判定指标，将检测到的低于均值的模糊帧剔除；

本实施例中，使用3×3的拉普拉斯算子对新加入的帧进行卷积操作，然后计算处理后图像的均值，归一化均值为模糊系数，若模糊系数小于阈值则判定为模糊的图像，进行剔除。本发明经过大量实验验证，阈值设为3.9时，可以将大部分模糊帧成功剔除，获得最佳的效果。

2.2)采用相位相关算法进行图传视频帧运动检测，剔除运动位移较小的帧；如图3；

对于两张仅存在平移变换的影像，假设f₁(x,y),f₂(x,y)分别为连续的两帧，由于相邻两帧姿态变化很小且相机距离场景较远，可近似认为f₂(x,y)是f₁(x,y)平移(Δx,Δy)得到，即：

f₂(x,y)＝f₁(x-Δx,y-Δy)

根据傅里叶变换到频域，可以表示为：

F₂(x,y)＝F₁(u,v)*e^{-2πi(uΔx+vΔy)}

互功率谱(cross-power spectrum)可表示为：

对互功率谱作反傅里叶变化得到归一化的互相关系数r(Normalized Cross-Correlation)：

r＝F^-1(H(u,v))

在无噪声的情况下，该值只有在(Δx,Δy)处取极大值，在其它地方几乎为0。我们可以通过寻找这个系数的峰值来找到对应点的坐标，因而求得平移量(Δx,Δy)，若平移量小于设定阈值，则剔除该帧。在实际运算中，两幅图像互功率谱相位的反变换，总是含有一个相关峰值代表两幅图像的配准点,和一些非相关峰值。相关峰值直接反映两幅图像间的一致程度。

对于存在旋转和平移的两张影像，假设图像f₂(x,y)是图像f₁(x,y)经平移(Δx,Δy)、旋转角度后得到的图像，用下面公式表示为：

根据傅里叶旋转平移特性，FFT变换后两图像间的关系如下：

由上式看出F₁,F₂能量是相同的，把直角坐标转到极坐标可表示如下：

再由仅存在平移影像部分所述的方法，在极坐标系下用相位相关可求出旋转角度最后对图像以角度做旋转，旋转得到图像与原图再次用仅存在平移影像部分所述的方法就可求出图像间的平移参数；

本实施例中，采用相位相关算法进行图传视频帧运动检测，实施方法如下：

1)新帧加入后提取中心窗口宽D为帧宽的正方形区域f_n，与第一个关键帧同样窗口内的区域作相位相关法求得归一化的互相关系数r₀和平移量(Δx₀,Δy₀)；

2)对新帧作旋转操作，加入一个较小的旋转量并取中心窗口f_n与第一个关键帧同样窗口内的区域作相位相关法求得归一化的互相关系数r和平移量(Δx,Δy)；

3)若r＞r₀，则将旋转量再增加Δθ重复步骤2；若r＜r₀则向反方向旋转Δθ重复步骤2直至r＜r₀，记录此时的互相关系数r和平移量(Δx,Δy)；

4)平移量大小若dist＞0.1D，即重复区域至少小于90％左右时，判断可能为新的关键帧，再进入基于视觉里程计的判定步骤；

5)记录此时的互相关系数为r_threshold；

6)新帧加入时重复步骤1-4，步骤2中改为与上一关键帧作相位相关处理，增加条件互相关系数必须满足否则不判定为关键帧。若则认为该帧处于旋转位置，记录该帧为RF，将步骤2中改为与RF作相位相关处理。

3)采用ORBSLAM中的求解影像位姿的方法，获取关键帧的位姿；

4)闭环检测；

ORB-SLAM在根据BOW特征共有单词数目筛选可能经过的位置时，将共有单词数最大值的0.8倍设为阈值，其意义在于挑选更多的候选帧的前提下剔除那些重叠区域过小的帧。在此我们根据关键帧选取阶段的重叠度进行判断，取新加入关键帧与相邻关键帧的共有单词数为N₀，与新加入关键帧重叠度为50％左右的临近关键帧共有单词数为N₁，取比例系数k＝N₁/N₀。我们在根据BOW特征共有单词数目筛选可能经过的位置时，将共有单词数最大的k倍设为阈值，即是选取重叠度大概在50％左右以上的关键帧为候选帧。ORB-SLAM在根据BOW Score选取闭环帧时将新加入关键帧与共视关键帧BOW Score的最高分的0.75倍和共视帧之间的BOW Score的最低值设为阈值。同理，本专利取新加入关键帧与相邻关键帧的BOW Score为S₀，与新加入关键帧重叠度为50％左右的临近关键帧的BOW Score为S₁，取比例系数l＝S₁/S₀。则在根据BOW Score选取闭环帧时将新加入关键帧与共视关键帧BOW Score的最高分的l倍设为阈值。

5)优化并更新闭环内的位姿图；

现有ORBSLAM中图优化算法定义Convisibility Graph为以所有关键帧的位姿信息为点，以两帧之间共有的特征点数量θ作为边的权重，如果共有的特征点超过15个才认为存在连接关系。ORB-SLAM在此基础上提出了Essential Graph的概念，其为CovisibilityGraph的最小生成树，以此为连接条件构造优化方程，边会明显减少、从而大大减少优化中的计算量。其主要步骤分为检测闭环、计算Sim3，优化并更新闭环内的位姿图三个部分。本专利主要对优化更新闭环位姿图部分中的定权部分进行了改进。

步骤1，计算图传视频帧的哈希指纹，方法如下：

1)缩小图像尺寸，这样做的目的是简化DCT的计算；

2)将图片转化成灰度图像，并截取中间部分，进一步简化计算量；

3)计算图片的DCT变换，得到DCT系数矩阵如图4所示；

4)缩小DCT，只保留左上角8×8的矩阵，这个区域保存了图片的低频信息；

5)计算步骤4中8×8矩阵的均值，对于该矩阵上各个数值，若大于均值设为1，小于均值则设为0，可以得到64位的哈希指纹(pHash Fingerprint)，如图5所示。

步骤2，计算图优化权重，方法如下：

1)新加入关键帧后，将该帧作pHash处理得到其64位的pHash指纹并保存起来；

2)在搜索与该帧相关的关键帧时，根据地图点保存的该点存在于哪些关键帧中的信息搜索同名点数量大于阈值的关键帧；

3)计算新加入关键帧与搜索得到的关键帧的pHash指纹间的汉明距离；

4)将计算所得汉明距离排序，并根据最大值与最小值作归一化处理；

5)由于每张提取的ORB特征数量是一定的，所以对同名点数量作归一化并没有意义，所以取汉明距离的归一化值与同名点数量的乘积作为改进的权重。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，其特征在于，包括以下步骤：

1)实时采集获取无人机视频影像帧；

2)使用改进的关键帧选取方法选取关键帧；具体如下：

2.1)对输入的影像帧进行模糊度检测，将检测到的模糊帧剔除；采用各向同性微分的拉普拉斯算子进行模糊度检测，将个二维图像f(x,y)的拉普拉斯算子定义为：

在二维图像上，其离散的表达方式为：

用一个卷积核来表示这个滤波器：

对作拉普拉斯算子卷积后的图像求均值，将均值作为模糊度检测的判定指标，将检测到的低于均值的模糊帧剔除；

2.2)采用相位相关算法进行图传视频帧运动检测，剔除运动位移较小的帧；

对于两张仅存在平移变换的影像，假设f₁(x,y),f₂(x,y)分别为连续的两帧，由于相邻两帧姿态变化很小且相机距离场景较远，认为f₂(x,y)是f₁(x,y)平移(Δx,Δy)得到，即:

f₂(x,y)＝f₁(x-Δx,y-Δy)

根据傅里叶变换到频域，表示为：

F₂(x,y)＝F₁(u,v)*e^{-2πi(uΔx+vΔy)}

互功率谱(cross-power spectrum)可表示为：

对互功率谱作反傅里叶变化得到归一化的互相关系数r(Normalized Cross-Correlation)：

r＝F^-1(H(u,v))

在无噪声的情况下，该值只有在(Δx,Δy)处取极大值，通过寻找这个系数的峰值来找到对应点的坐标，因而求得平移量(Δx,Δy)，平移量大小若平移量dist小于设定阈值，则剔除该帧；

对于存在旋转和平移的两张影像，假设图像f₂(x,y)是图像f₁(x,y)经平移(Δx,Δy)、旋转角度后得到的图像，用下面公式表示为：

根据傅里叶旋转平移特性，FFT变换后两图像间的关系如下：

由上式看出F₁,F₂能量是相同的，把直角坐标转到极坐标可表示如下：

再由仅存在平移影像部分所述的方法，在极坐标系下用相位相关可求出旋转角度最后对图像以角度做旋转，旋转得到图像与原图再次用仅存在平移影像部分所述的方法就可求出图像间的平移参数；

3)采用ORBSLAM中的求解影像位姿的方法，获取关键帧的位姿；

4)闭环检测；

取新加入关键帧与相邻关键帧的共有单词数为N₀，与新加入关键帧重叠度为50％的临近关键帧共有单词数为N₁，取比例系数k＝N₁/N₀；在根据BOW特征共有单词数目筛选可能经过的位置时，将共有单词数最大的k倍设为阈值，即是选取重叠度在50％以上的关键帧为候选帧；

取新加入关键帧与相邻关键帧的BOW Score为S₀，与新加入关键帧重叠度为50％的临近关键帧的BOW Score为S₁，取比例系数l＝S₁/S₀；则在根据BOW Score选取闭环帧时将新加入关键帧与共视关键帧BOW Score的最高分的l倍设为阈值；

5)优化并更新闭环内的位姿图，完成影像定向；

对优化更新闭环位姿图部分中的定权部分进行了改进，具体如下：

5.1)计算图传视频帧的哈希指纹，方法如下：

5.1.1)缩小图像尺寸至宽度200至300像素，以减少计算量；

5.1.2)将图像转化成灰度图像，并截取图像的正中间部分，获得一个正方形的新图像，用于进行DCT变换；

5.1.3)计算截取后新图像的DCT变换，得到DCT系数矩阵；

5.1.4)缩小DCT，只保留左上角8×8的矩阵，这个区域保存了图片的低频信息；

5.1.5)计算步骤5.1.4)中8×8矩阵的均值，对于该矩阵上各个数值，若大于均值设为1，小于均值则设为0，得到64位的哈希指纹；

5.2)计算图优化权重，方法如下：

5.2.1)新加入关键帧后，将该帧作步骤5.1)的pHash处理得到其64位的pHash指纹并保存起来；

5.2.2)搜索与该帧相关的关键帧，即根据地图点中的该点被哪些关键帧观测到的属性，搜索同名点数量大于阈值的关键帧；

5.2.3)计算新加入关键帧与搜索得到的关键帧的pHash指纹间的汉明距离；

5.2.4)将计算所得的汉明距离排序，并根据最大值与最小值作归一化处理；

5.2.5)取汉明距离的归一化值与同名点数量的乘积作为改进的权重；

6)根据影像位姿，利用多视图前方交会三角测量方法，生成稀疏点云。

2.根据权利要求1所述的基于ORBSLAM的无人机视频影像实时定向与生成稀疏点云的方法，其特征在于，所述步骤3)采用ORBSLAM原有的求解影像位姿的方法，获取关键帧的位姿:首先进行ORB特征匹配，利用常规PnP方法求解影像帧粗略位姿之后，再进行局部光束法平差求解精确的位姿。