CN104899918B - 一种无人机的三维环境建模方法及系统 - Google Patents

Abstract

本发明适用于无人机领域，提供了一种无人机的三维环境建模方法，包括：获取关键帧图像上的点特征、线特征，并划分纹理区域；选取距离所述关键帧最近的一帧为目标关键帧，在目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；在三维空间中将得到的多层次特征进行有效结合，其中，多层次的特征包括点特征、线特征以及面特征；利用对偶四元数对多层次的特征进行统一描述。本发明还提供了一种无人机的三维环境建模系统。本发明能为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，能提高系统的优化速度，还能减少错误匹配率，从而提高了地图的精确性和鲁棒性。

Description

一种无人机的三维环境建模方法及系统

技术领域

本发明涉及无人机领域，尤其涉及一种无人机的三维环境建模方法及系统。

背景技术

机器人如何在位置环境的未知位置中实现即时定位和地图构建(SimultaneousLocalizationAnd Mapping，SLAM)是实现机器人自主导航、路径规划、目标识别及跟踪等任务的前提。利用不同传感器所重建出来的三维模型已经被应用到机器导航、增强实现、医学图像处理等多个领域。然而，如何利用单镜头在无人机上进行实时的三维环境建模，进而实现其自主控制是当前研究的一个难点。

发明内容

有鉴于此，本发明实施例的目的在于提供一种无人机的三维环境建模方法及系统，旨在解决现有技术中无法利用单镜头在无人机上进行实时的三维环境建模的问题。

本发明实施例是这样实现的，一种无人机的三维环境建模方法，包括：

获取关键帧图像上的点特征、线特征，并划分纹理区域；

选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；

在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次特征包括点特征、线特征以及面特征；

利用对偶四元数对多层次特征进行统一描述。

优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括：

采用FAST-10进行角点检测，并以角点为中心形成8×8的源模板；

将提取的角点进行缩减，然后去除靠近地图中已有特征的角点；

通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点；

利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有地图中。

优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括：

利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元；

将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去除，以得到候选线元；

获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯曲的边缘点，形成匹配候选线；

根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。

优选的，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括：

首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面的候选区域；

判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增长，并完成平面初始点和基础向量的更新；

若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在交线则直接生成新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于同一个候选区域则生成一个新的平面。

优选的，所述利用对偶四元数对多层次特征进行统一描述的步骤包括：

利用对偶四元数对点特征进行描述；

利用对偶四元数对线特征进行描述；

利用对偶四元数对面特征进行描述。

另一方面，本发明还提供一种无人机的三维环境建模系统，所述三维环境建模系统包括：

特征提取模块，用于获取关键帧图像上的点特征、线特征，并划分纹理区域；

地图拓展模块，用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；

地图简化模块，用于在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次特征包括点特征、线特征以及面特征；

统一描述模块，用于利用对偶四元数对多层次特征进行统一描述。

优选的，所述地图拓展模块包括特征点拓展子模块，其中，所述特征点拓展子模块包括：

第一提取模块，用于采用FAST-10进行角点检测，并以角点为中心形成8×8的源模板；

第一去除模块，用于将提取的角点进行缩减，然后去除靠近地图中已有特征的角点；

第一匹配模块，用于通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点；

第一融入模块，用于利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有地图中。

优选的，所述地图拓展模块包括特征线拓展子模块，

其中，所述特征线拓展子模块包括：

第二提取模块，用于利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元；

第二去除模块，用于将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去除，以得到候选线元；

第二匹配模块，用于获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯曲的边缘点，形成匹配候选线；

第二融入模块，用于根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。

优选的，所述地图拓展模块包括特征面拓展子模块，

其中，所述特征面拓展子模块包括：

平面去除模块，用于首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面的候选区域；

平面更新模块，用于判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增长，并完成平面初始点和基础向量的更新；

平面生成模块，用于若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于同一个候选区域则生成一个新的平面。

优选的，所述统一描述模块包括：

点特征描述子模块，用于利用对偶四元数对点特征进行描述；

线特征描述子模块，用于利用对偶四元数对线特征进行描述；

面特征描述子模块，用于利用对偶四元数对面特征进行描述。

在本发明实施例中，本发明提供的技术方案能利用单镜头在无人机上进行实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，利用对偶四元数实现了多层次几何结构的统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，而且，点、线、面多层次特征的有效结合，能够显著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的精确性和鲁棒性。

附图说明

图1为本发明一实施方式中无人机的三维环境建模方法流程图；

图2为本发明一实施方式中图1所示步骤S12的第一子步骤流程图；

图3为本发明一实施方式中图1所示步骤S12的第二子步骤流程图；

图4为本发明一实施方式中图1所示步骤S12的第三子步骤流程图；

图5为本发明一实施方式中无人机的三维环境建模系统结构示意图；

图6为本发明一实施方式中图5所示地图拓展模块12的内部结构示意图；

图7为本发明一实施方式中图6所示特征点拓展子模块121的内部结构示意图；

图8为本发明一实施方式中图6所示特征线拓展子模块122的内部结构示意图；

图9为本发明一实施方式中图6所示特征面拓展子模块123的内部结构示意图；

图10为本发明一实施方式中图5所示统一描述模块14的内部结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。一种无人机的三维环境建模方法及系统

本发明具体实施方式提供了一种无人机的三维环境建模方法，主要包括如下步骤：

S11、获取关键帧图像上的点特征、线特征，并划分纹理区域；

S12、选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；

S13、在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次特征包括点特征、线特征以及面特征；

S14、利用对偶四元数对多层次特征进行统一描述。

本发明所提供的一种无人机的三维环境建模方法，能利用单镜头在无人机上进行实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，利用对偶四元数实现了多层次几何结构的统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，而且，点、线、面多层次特征的有效结合，能够显著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的精确性和鲁棒性。

以下将对本发明所提供的一种无人机的三维环境建模方法进行详细说明。

请参阅图1，为本发明一实施方式中无人机的三维环境建模方法流程图。

在步骤S11中，获取关键帧图像上的点特征、线特征，并划分纹理区域。

在本实施方式中，划分区域的方法主要是通过提取关键帧图像上的点特征、线特征，并根据该关键帧的纹理进行划分。

在步骤S12中，选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新。

在本实施方式中，所述多层次特征包括点特征、线特征以及面特征。

在本实施方式中，本发明区别现有技术最大的区别在于本发明结合了点、线、面多层次特征来实现地图的增长过程，而不在依赖于单一的某一个几何特征，且传统的高层次特征的获取是在已经生成了地图的情况下进行拟合而成的，而不是将高层次特征作为一种新的结构融入地图，如此，拟合得到的高层次结构无法和后续生成的地图相关联，且每次当地图拓展之后都必须对其重新拟合以得到新的高层次结构，正是由于现有技术中存在的这些缺点，本发明根据点、线、面这三个不同层次的几何特征，选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新，即包括进行点特征的提取和匹配，并将匹配结果融入已有地图；进行线特征的提取和匹配，并将匹配结果融入已有地图；将生成的3D点、线结合纹理区域来实现地图面特征的拓展和更新这三个层次。

其中，步骤S12分别包括：1)点特征的提取、匹配及融入过程；2)线特征的提取、匹配及融入过程；3)纹理区域的划分、3D点线是否拓展已有平面、3D点线是否生成新的平面这三个子步骤，其中，1)对应图2所示的步骤S1211-S1214，2)对应图3所示的步骤S1221-S1224，3)对应图4所示的步骤S1231-S1233。

请参阅图2，为本发明一实施方式中图1所示步骤S12的第一子步骤流程图。

在步骤S1211中，采用FAST-10进行角点检测，并以角点为中心形成8×8的源模板。

其中，步骤S1211主要是提取角点，需要说明的是，在本实施方式中，除了采用FAST-10进行角点检测之外，还可以采用Harris角点，ShiTomasi角点，SURF角点，亚像素角点，SIFT角点等一系列的角点特征检测和描述的方法。

在步骤S1212中，将提取的角点进行缩减，然后去除靠近地图中已有特征的角点。在本实施方式中，主要是利用Shi-Tomasi技术将提取的角点进行缩减。

其中，步骤S1212主要是获取候选角点，将提取的角点通过Shi-Tomasi技术进行缩减，通过将地图3D特征投影到图像平面，然后再去除靠近地图中已有特征的角点，具体的投影过程如下：

p_iw为世界坐标系中点，(x_c y_c z_c)^T为当前关键帧坐标系中该点的位置，E_cw表示世界坐标系到当前关键帧坐标系的坐标变换，(u_i v_i)^T表示当前关键帧图像坐标系上的位置，(u₀,v₀)^T为主点坐标，(f_u f_v)为焦距参数，ω表示径向失真参数。

在步骤S1213中，通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点。

在步骤S1214中，利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有地图中。

请参阅图3，为本发明一实施方式中图1所示步骤S12的第二子步骤流程图。在本实施方式中，直线特征更新流程与现有技术相比，本发明最大的不同在于采用线元的融合生长技术来完成线特征的提取。在本实施方式中，线元的获取采用的是线融合生长的方法，除此之外还可以采用Hough变换获取直线，另外线生长的过程本发明采用的是循环的方法来实现，除此之外还可以采用递归的方法来实现，在此就不一一展开描述。

在步骤S1221中，利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元。具体的生长步骤如下(a)-(e)所示：

(a)、以边缘上一点作为原始中心点(origin center)，计算其梯度的角度，构造图像大小的哈希表，并将对应的该点置255，并将该点压入到栈中；

(b)、判断其上下左右，及两条对角线的八个周边领域点是否在为边缘点；

(c)、若为边缘点，则进一步判断其与中心点的梯度变化角度是否满足一定的阈值；

(d)、若满足该阈值，将哈希表中对应该点置255，并将其压入栈中，进而判断该线元是否沿竖直方向增长，若是则将y值比origin center小的的作为线元起点，y值较origincenter大的做为终点，否则将x较origin center小的作为起点，x值较origin center大的作为终点，并以该点为新的中心点，重复(b)过程；

(e)、直至栈的大小不在变化，即线元的生长结束，则返回该线元的长度，把长度小于设定阈值的线元去除。

在步骤S1222中，将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去除，以得到候选线元；在本实施方式中，步骤S1222是参照点的候选特征的提取过程。

在步骤S1223中，获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯曲的边缘点，形成匹配候选线。在本实施方式中，步骤S1223是参照点的对极几何过程。

在步骤S1224中，根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。在本实施方式中，关键帧中检测到的直线与关键帧相机位置构成一平面，同理，源关键帧中也能够构成一平面，这两个平面的交线即为该直线对应的3D线，通过该直线的端点确定其空间具体位置，并将得到的3D线在另外的第三帧关键帧中进行检验，只把检验成功的3D线融入到已有地图中。

请参阅图4，为本发明一实施方式中图1所示步骤S12的第三子步骤流程图。

在步骤S1231中，首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面的候选区域。

在本实施方式中，采用两个方向向量和一个位置向量表示平面，用两个方向向量和一个位置向量共9个参数来表示，其表达式为：

m＝[p₀ c₁ c₂]^T (4)

p₀表示平面的初始点，c₁，c₂表示平面上的两个正交向量称为基础向量，故平面的法线n＝c₁×c₂，因此，对于地图中的检测位于该平面上的3D特征点，可以简化表示为：

其中，·表示点积，p_i表示该3D特征点在世界坐标系中的位置。

在步骤S1232中，判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增长，并完成平面初始点和基础向量的更新。

在步骤S1233中，若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于同一个候选区域则生成一个新的平面。

在本实施方式中，利用两根线上的不同的三个点生成初始的平面参数：

p₀＝p₁ c₁＝p₂-p₁ c₂＝p₃-p₁ (6)

其中，p₁，p₂，p₃两根线上的3个不同点。在得到平面参数后，通过测量其他特征到平面的垂直距离是否满足阈值要求来进行平面方程的更新。对于任意以特征点m_i，其到平面的垂直距离为另外，还要求平面上所包含的点数l＞l_T(l_T为设定的平面上最少点数)时，才认为此次估计的平面符合要求。

在本实施方式中，平面特征点的增长通过判断将新加入的特征点是否满足设定的阈值要求，来决定是否融入到平面上。设定的阈值有：点到平面的最大距离d_T，点到平面初始点的最大距离d_max(此阈值的设定是为了增大所构建平面与实际局部物理平面结构相匹配的概率)，法向量方向的最大偏差λ_T。

假设，一空间平面包含l个特征点，存储在一个l×3的矩阵M中，与M^TM最小特征值对应的特征向量代表了平面的法向方向，而最小特征值λ_min表示内点在法向方向的方差，另外的两个特征向量则为平面的基础向量c₁，c₂。故平面上新增的点必须同时满足一下条件：

在本实施方式中，平面特征线的增长，则通过直线方向与平面法线的夹角，若直线在平面上则该直线到平面的距离为零，与平面的法线垂直，否则，该直线必定不在平面上。

在本实施方式中，为了有效的减少地图的存储空间，和捆绑调整法数据的处理量，应当将多层次特征有效的结合起来，这里主要分为在二维图像上实现候选特征的滤除和三维空间中点、线、面的合并，其中，二维图像上实现候选特征的滤除包括候选点的滤除、候选线的滤除、候选面的滤除，三维空间中点、线、面的合并包括点线的合并、点面的合并、线面的合并。

在本实施方式中，在二维图像上候选特征的滤除方面，提取出当前关键帧中可观测到的地图特征，并将地图中所有特征投影到当前关键帧的图像平面，在选取新特征的候选特征集时，将这些靠近已有投影特征的候选特征进行删除，剩余的特征作为最终的候选特征集，如此高层次的特征周围便不再存在低层次的特征，减少了低层次特征的数量和匹配搜索量。

在本实施方式中，在三维空间上多层次特征的合并方面，在三维空间中，若前面的观察中某一结构未能检测到高层次的特征，而在生成了大量的低层次特征，而后续的观察中此结构中高层次特征被发现，则需要在3D空间中将该处的低层次特征删除，从而能够有效的减少地图的存储空间和提高系统的处理速度。

请继续参阅图1，在步骤S13中，在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次特征包括点特征、线特征以及面特征。

在步骤S14中，利用对偶四元数对多层次特征进行统一描述。在本实施方式中，较之四元数只能表示3D旋转，对偶数只能表示平移，对偶四元数的优越性体现在它继承了二者的共同特性，从而能统一的表示旋转与平移。绕单位向量表示的轴旋转θ角，平移位移的过程可以表示为：

其中分别为用对偶四元数表示的纯平移，和纯旋转，而分表为用四元数表示的旋转和平移。利用共轭操作特性可得到其共轭为：和

在本实施方式中，所述利用对偶四元数对多层次特征进行统一描述的步骤包括：利用对偶四元数对点特征进行描述；利用对偶四元数对线特征进行描述；利用对偶四元数对面特征进行描述。下面将分别进行描述：

1)、对偶四元数对点的描述

在三维空间中对点和向量的表示是非常容易混肴的，因为对任意一点p和向量都是用三维坐标(x,y,z)来进行表示。而在对偶四元数中，可以很容易的区分出点和向量，它们的表示形式分别为：

设表示对偶四元数表示的任意一点，对P的旋转操作可改变其向量的方向使得而对P的平移将会把p″移动到新的位置因此，对点P的旋转和平移整体过程可表示为：

同理，对于一个向量旋转将会改变其方向性，而平移将不会对其造成影响，结果可得到:

2)、对偶四元数对线的描述

直线在普吕克坐标系中的表示为其中和分别表示直线的方向向量和直线上一点的位置向量，表示直线相对于坐标原点的矩。用对偶四元数来表示该直线可写为：

对L的任意变换过程，可分别从旋转和平移两个方面分别进行讨论，对L旋转过程可造成其方向性和对坐标原点矩的改变，而对直线的平移过程将不会对有影响，故对直线的方向向量的整体变换过程为：但是会收到平移的影响，其中q,t分别为纯四元数表示的旋转和平移。故在对偶四元数空间中对直线L的变换可表示为：

3)、对偶四元数对面的描述

一个平面可以由他的单位法向量和距原点的垂直距离d确定，通常平面的向量方程是 是平面上的任意一点。在对偶四元数代数中，平面的表示方式为：

将平面Π做刚体变换，旋转可以使得法向量的方向发生改变，平移可改变平面到原点的距离d，而新增的距离即为平移向量在法向量上的投影。故得到新的法向量为：到原点的距离为：其中t,q是纯四元数用于表示平移和旋转。故，对偶四元数空间对平面Π的变换可表示为：

综上所述，对偶四元数对几何元素的整体变换可表示为：

其中

本发明所提供的一种无人机三维环境建模方法，能利用单镜头在无人机上进行实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，利用对偶四元数实现了多层次几何结构的统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，而且，点、线、面多层次特征的有效结合，能够显著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的精确性和鲁棒性。

本发明具体实施方式还提供一种无人机三维环境建模系统10，主要包括：

特征提取模块11，用于获取关键帧图像上的点特征、线特征，并划分纹理区域；

地图拓展模块12，用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；

地图简化模块13，用于在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次特征包括点特征、线特征以及面特征；

统一描述模块14，用于利用对偶四元数对多层次特征进行统一描述。

本发明所提供的一种无人机三维环境建模系统10，能利用单镜头在无人机上进行实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，利用对偶四元数实现了多层次几何结构的统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，而且，点、线、面多层次特征的有效结合，能够显著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的精确性和鲁棒性。

请参阅图5，所示为本发明一实施方式中无人机的三维环境建模系统10的结构示意图。在本实施方式中，无人机的三维环境建模系统10包括特征提取模块11、地图拓展模块12、地图简化模块13以及统一描述模块14。

特征提取模块11，用于获取关键帧图像上的点特征、线特征，并划分纹理区域。在本实施方式中，划分区域的方法主要是通过提取关键帧的角点和线并根据该关键帧的纹理进行区域划分。

地图拓展模块12，用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新。

在本实施方式中，所述多层次特征包括点特征、线特征以及面特征。

在本实施方式中，地图拓展模块12具体包括特征点拓展子模块121、特征线拓展子模块122、特征面拓展子模块123，如图6所示。

请参阅图6，所示为本发明一实施方式中图5所示地图拓展模块12的内部结构示意图。

在本实施方式中，特征点拓展子模块121，用于进行点特征的提取和匹配，并将匹配结果融入已有地图。

在本实施方式中，特征线拓展子模块122，用于进行线特征的提取和匹配，并将匹配结果融入已有地图。

在本实施方式中，特征面拓展子模块123，用于将生成的3D点、线结合纹理区域来实现地图面特征的拓展和更新。

其中，图7-图9分别为特征点拓展子模块121、特征线拓展子模块122、特征面拓展子模块123的内部结构示意图，下面将分别进行详细描述。

请参阅图7，所示为本发明一实施方式中图6所示特征点拓展子模块121的内部结构示意图。

第一提取模块1211，用于采用FAST-10进行角点检测，并以角点为中心形成8×8的源模板。

在本实施方式中，除了采用FAST-10进行角点检测之外，还可以采用Harris角点，ShiTomasi角点，SURF角点，亚像素角点，SIFT角点等一系列的角点特征检测和描述的方法。

第一去除模块1212，用于将提取的角点进行缩减，然后去除靠近地图中已有特征的角点。其中具体的过程请参照前面对应步骤S1212的有关描述，在此不做重复描述。

第一匹配模块1213，用于通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算对比，得到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点。

第一融入模块1214，用于利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有地图中。

请参阅图8，所示为本发明一实施方式中图6所示特征线拓展子模块122的内部结构示意图。

第二提取模块1221，用于利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元。其中，具体的成长步骤请参阅前面步骤S1221的有关描述，在此不做重复描述。

第二去除模块1222，用于将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去除，以得到候选线元。

第二匹配模块1223，用于获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯曲的边缘点，形成匹配候选线。

第二融入模块1224，用于根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。在本实施方式中，关键帧中检测到的直线与关键帧相机位置构成一平面，同理，源关键帧中也能够构成一平面，这两个平面的交线即为该直线对应的3D线，通过该直线的端点确定其空间具体位置，并将得到的3D线在另外的第三帧关键帧中进行检测，根据三焦点张量之间的约束关系只把检测成功的3D线融入到已有地图中。

请参阅图9，所示为本发明一实施方式中图6所示特征面拓展子模块123的内部结构示意图。

平面去除模块1231，用于采用两个方向向量和一个位置向量表示平面。在本实施方式中，具体的表示方法请参阅前面步骤S1231的有关描述，在此不做重复描述。

平面更新模块1232，用于利用图形纹理将纹理相同的地方分割成一块以形成平面的候选区域，并利用已经生成的3D线判断是否存在交线或者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于同一个候选区域则生成一个新的平面。在本实施方式中，具体的发现方法请参阅前面步骤S1232-S1233的有关描述，在此不做重复描述。

平面生成模块1233，用于利用平面特征点的增长和平面特征线的增长来形成平面的增长。在本实施方式中，具体的增长方法请参阅前面步骤S1233的有关描述，在此不做重复描述。

在本实施方式中，为了有效的减少地图的存储空间，和捆绑调整法数据的处理量，应当将多层次特征有效的结合起来，这里主要分为在二维图像上实现候选特征的滤除和三维空间中点、线、面的合并，其中，二维图像上实现候选特征的滤除包括候选点的滤除、候选线的滤除、候选面的滤除，三维空间中点、线、面的合并包括点线的合并、点面的合并、线面的合并。

在本实施方式中，在二维图像上候选特征的滤除方面，提取出当前关键帧中可观测到的地图特征，将地图中所有特征投影到当前关键帧平面，在选取新特征的候选特征集时，将这些靠近投影特征的候选特征进行删除，剩余的特征作为最终的候选特征集，如此高层次的特征周围便不再存在低层次的特征，减少了低层次特征的数量和匹配搜索量。

在本实施方式中，在三维空间上多层次特征的合并方面，在三维空间中，若前面的观察中某一结构未能检测到高层次的特征，而在生成了大量的低层次特征，而后续的观察中此结构中高层次特征被发现，则需要在3D空间中将该处的低层次特征删除，从而能够有效的减少地图的存储空间和提高系统的处理速度。

请继续参阅图5，地图简化模块13，用于在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次特征包括点特征、线特征以及面特征。

统一描述模块14，用于利用对偶四元数对多层次特征进行统一描述。

在本实施方式中，统一描述模块14具体包括点特征描述子模块141、线特征描述子模块142以及面特征描述子模块143，如图10所示。

请参阅图10，所示为本发明一实施方式中图5所示统一描述模块14的内部结构示意图。

点特征描述子模141块，用于利用对偶四元数对点特征进行描述，其中，具体的描述请参阅前面方法部分的相关描述，在此不做重复描述。

线特征描述子模块142，用于利用对偶四元数对线特征进行描述，其中，具体的描述请参阅前面方法部分的相关描述，在此不做重复描述。

面特征描述子模块143，用于利用对偶四元数对面特征进行描述，其中，具体的描述请参阅前面方法部分的相关描述，在此不做重复描述。

本发明所提供的一种无人机的三维环境建模系统10，能利用单镜头在无人机上进行实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，利用对偶四元数实现了多层次几何结构的统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，而且，点、线、面多层次特征的有效结合，能够显著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的精确性和鲁棒性。

在本发明实施例中，本发明提供的技术方案，能利用单镜头在无人机上进行实时的三维环境建模，通过基于对偶四元数的多层次特征环境建模的方法，利用对偶四元数实现了多层次几何结构的统一表示方式和转换过程，从而能够为进一步的新的专用对偶四元数解算硬件的研发提供基础研究成果，而且，点、线、面多层次特征的有效结合，能够显著的减少地图的存储空间和捆绑调整优化过程数据的处理量，提高系统的优化速度，另外，由于直线特征能有效的提高匹配过程抗运动模糊的能力，减少错误匹配率，从而提高了地图的精确性和鲁棒性。

值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种无人机的三维环境建模方法，其特征在于，所述三维环境建模方法包括：

获取关键帧图像上的点特征、线特征，并划分纹理区域；

选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；

在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次特征包括点特征、线特征以及面特征；

利用对偶四元数对多层次特征进行统一描述；

其中，所述在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线具体包括：

采用FAST-10进行角点检测，并以角点为中心形成8×8的源模板；

将提取的角点进行缩减，然后去除靠近地图中已有特征的角点；

通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度计算，得到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点；

利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有地图中；

及

利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元；

将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去除，以得到候选线元；

获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯曲的边缘点，形成匹配候选线；

根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。

2.如权利要求1所述的三维环境建模方法，其特征在于，所述选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新的步骤包括：

首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面的候选区域；

判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增长，并完成平面初始点和基础向量的更新；

若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于同一个候选区域则生成一个新的平面。

3.如权利要求1所述的三维环境建模方法，其特征在于，所述利用对偶四元数对多层次特征进行统一描述的步骤包括：

利用对偶四元数对点特征进行描述；

利用对偶四元数对线特征进行描述；

利用对偶四元数对面特征进行描述。

4.一种无人机的三维环境建模系统，其特征在于，所述三维环境建模系统包括：

特征提取模块，用于获取关键帧图像上的点特征、线特征，并划分纹理区域；

地图拓展模块，用于选取距离所述关键帧最近的一帧为目标关键帧，在所述目标关键帧中求匹配点和线，利用对极几何三角化得到3D的点和线，并结合纹理区域完成面特征的生成和更新；

地图简化模块，用于在三维空间中将得到的多层次特征进行有效结合，其中，所述多层次特征包括点特征、线特征以及面特征；

统一描述模块，用于利用对偶四元数对多层次特征进行统一描述；

其中，所述地图拓展模块包括特征点拓展子模块，所述特征点拓展子模块包括：

第一提取模块，用于采用FAST-10进行角点检测，并以角点为中心形成8×8的源模板；

第一去除模块，用于将提取的角点进行缩减，然后去除靠近地图中已有特征的角点；

第一匹配模块，用于通过对极几何得到在所述目标帧的图像上的对极线，在所述对极线附近搜索角点，将搜索到的多个角点与提取到的角点模板做距离测度对比，得到最小距离测度，其中，若所述最小距离测度小于设定的阈值，则将所述最小距离测度作为匹配点；

第一融入模块，用于利用对极几何三角化计算所述匹配点的3D深度信息，并将所述匹配点融入已有地图中；

及

所述地图拓展模块包括特征线拓展子模块，所述特征线拓展子模块包括：

第二提取模块，用于利用Canny算子提取所述关键帧的图像边缘，根据图像边缘的梯度变化角度信息进行融合生长，并去除短的边缘和弯曲的边缘，同时将剩下的边缘作为图像线元；

第二去除模块，用于将地图中所有特征投影到当前所述关键帧的图像上，并将靠近投影特征的线元去除，以得到候选线元；

第二匹配模块，用于获取所述候选线元的中心点在所述目标关键帧的图像上的对极线，以该对极线为中心形成匹配搜索区域，并获取所述匹配搜索区域中的边缘点，去除远离对极线的点、去除与源直线线极性不符的点、去除梯度变化方向与对极线垂直的点、去除短的边缘点以及弯曲的边缘点，形成匹配候选线；

第二融入模块，用于根据匹配候选线三角化得到所述源直线所有可能的3D深度，并通过第三帧关键帧验证，并将只有验证成功的3D线融入到已有地图中。

5.如权利要求4所述的三维环境建模系统，其特征在于，所述地图拓展模块包括特征面拓展子模块，

其中，所述特征面拓展子模块包括：

平面去除模块，用于首先利用图形纹理，将纹理相同的地方分割成一块，并将太小的块去除，形成平面的候选区域；

平面更新模块，用于判断3D的点特征、线特征是否在已有面特征上，若在面特征上，则实现平面的增长，并完成平面初始点和基础向量的更新；

平面生成模块，用于若不在面特征上，则利用已经生成的3D线判断是否存在交线或者平行线，若存在交线则直接生产新的平面，若存在平行线则判断这些平行线是否属于同一个候选区域，若属于同一个候选区域则生成一个新的平面。

6.如权利要求4所述的三维环境建模系统，其特征在于，所述统一描述模块包括：

点特征描述子模块，用于利用对偶四元数对点特征进行描述；

线特征描述子模块，用于利用对偶四元数对线特征进行描述；

面特征描述子模块，用于利用对偶四元数对面特征进行描述。