CN113359782A

CN113359782A - 一种融合lidar点云与图像数据的无人机自主选址降落方法

Info

Publication number: CN113359782A
Application number: CN202110588274.7A
Authority: CN
Inventors: 邹诚; 李灵峰; 孔令华
Original assignee: Fujian University of Technology
Current assignee: Fujian University of Technology
Priority date: 2021-05-28
Filing date: 2021-05-28
Publication date: 2021-09-07
Anticipated expiration: 2041-05-28
Also published as: CN113359782B

Abstract

本发明公开了一种融合LIDAR点云与图像数据的无人机自主选址降落方法。该方法包括基于激光雷达点云数据流以及图像数据流融合生成彩色点云图；计算彩色点云图中的至少一个平滑区域，将距离无人机最近的平滑区域作为初始着陆点，并控制无人机向初始着陆点移动；在移动至初始着陆点的过程中，对所有平滑区域对应的语义信息进行可视化分析，筛选得到至少一个安全平滑区域；将距离无人机当前位置最近的安全平滑区域确定为最终着陆点，控制无人机降落至最终着陆点。本发明实现了不依靠GPS、IMU等不可靠传感器信息，在各种地形上空自主选取区域内最佳降落点进行降落，且能够快速有效的对存在安全隐患的降落地点进行筛选。

Description

一种融合LIDAR点云与图像数据的无人机自主选址降落方法

技术领域

本申请涉及无人机自动控制技术领域，具体而言，涉及一种融合LIDAR点云与图像数据的无人机自主选址降落方法。

背景技术

旋翼无人机作为无人飞行载具的代表，拥有垂直起降、自由悬停、控制灵活等优点在军事战争、资源检测和灾害救援等领域拥有巨大的应用前景。目前业内将无人机技术发展历程分为七个阶段，当前技术处于第五至第六阶段之间，即无人机具备有效载荷适应性和一定的自动驾驶能力，自主降落要求无人机完成任务后，在考虑能耗和安全性的同时自动选择合适着陆点进行降落回收。然而在执行勘测、救援等任务期间，或在发生信号丢失、燃料短缺等紧急情况下，无人机通常需要在具有复杂地形的未知区域进行降落，由于缺乏地面引导设备，着陆点选取不当极易造成无人机降落过程中侧翻或触碰到障碍物而坠机。据统计，无人机降落回收时的故障率占无人机整体故障率的80%以上。且在自动降落过程中，由于无人机的作业环境复杂，地形崎岖不平等因素，将导致无人机信号丢失而定位不准确、地形建模不完整等问题，造成无人机无法安全着陆。因此无人机自主检测并定位未知降落区间内合适的着陆点成为无人机完全自主化过程中亟需解决的问题。

发明内容

为了解决上述问题，本申请实施例提供了一种融合LIDAR点云与图像数据的无人机自主选址降落方法。

第一方面，本申请提供了一种融合LIDAR点云与图像数据的无人机自主选址降落方法，所述方法包括：

获取激光雷达采集的激光雷达点云数据流以及相机采集的图像数据流，基于所述激光雷达点云数据流以及所述图像数据流融合生成彩色点云图；

计算所述彩色点云图中的至少一个平滑区域，将距离无人机最近的所述平滑区域作为初始着陆点，并控制所述无人机向所述初始着陆点移动；

在移动至所述初始着陆点的过程中，对所有所述平滑区域对应的语义信息进行可视化分析，筛选得到至少一个安全平滑区域；

将距离所述无人机当前位置最近的所述安全平滑区域确定为最终着陆点，控制所述无人机降落至所述最终着陆点。

优选的，所述获取激光雷达采集的激光雷达点云数据流以及相机采集的图像数据流，基于所述激光雷达点云数据流以及所述图像数据流融合生成彩色点云图，包括：

根据GPS提供的时间脉冲同步激光雷达和相机之间的初始时间后，获取所述激光雷达采集的激光雷达点云数据流以及所述相机采集的图像数据流，所述激光雷达与所述相机的视场重叠；

将所述激光雷达点云数据流中的激光雷达帧转换为所述相机对应棋盘平面上的相机帧，构建所述激光雷达帧与相机帧的第一对应关系；

基于所述第一对应关系生成彩色点云图，使所述彩色点云图与无人机所处真实场景相对应。

优选的，所述将所述激光雷达点云数据流中的激光雷达帧转换为所述相机对应棋盘平面上的相机帧，包括：

构建一固定的棋盘平面对所述相机的固有参数矩阵进行标定，所述固有参数矩阵包括内部参数矩阵和外部变换矩阵，所述棋盘平面的视场与所述相机的视场相同；

确定所述内部参数矩阵后，重建所述棋盘平面中棋盘角的位置；

构建法向量特征来检测所述激光雷达点云数据流中的激光雷达帧，并在所述棋盘平面中标识所述法向量特征，得到任一视场角下的棋盘对应关系；

获取多个视场角的所述棋盘对应关系，构建棋盘平面集合；

基于外部变换矩阵，在所述棋盘平面集合上将所述激光雷达帧转换为相机帧。

优选的，所述计算所述彩色点云图中的至少一个平滑区域，将距离无人机最近的所述平滑区域作为初始着陆点，并控制所述无人机向所述初始着陆点移动，包括：

基于所述激光雷达点云数据流构建激光雷达定位框架，并基于所述图像数据流构建相机定位框架；

结合所述激光雷达定位框架与相机定位框架，检测所述彩色云点图的特征点数据，并计算所述特征点数据与真实场景之间的第二对应关系；

根据所述第二对应关系，计算所述彩色点云图中的至少一个平滑区域；

对无人机进行运动预测，将距离所述无人机最近的所述平滑区域作为初始着陆点，并控制所述无人机向所述初始着陆点移动。

优选的，所述计算所述彩色点云图中的至少一个平滑区域，包括：

根据所述激光雷达定位框架与相机定位框架，计算无人机姿态；

分别计算所述彩色点云图的平滑度成本、平整度成本、能耗成本，结合所述无人机姿态，计算所述无人机的成本能量图；

基于所述成本能量图，确定所述彩色点云图中的至少一个平滑区域。

优选的，所述在移动至所述初始着陆点的过程中，对所有所述平滑区域对应的语义信息进行可视化分析，筛选得到至少一个安全平滑区域，包括：

在移动至所述初始着陆点的过程中，将所述成本能量图投影至一水平面上，并在所述水平面上划分缩放网格，用以使每个所述缩放网格存储所有所述平滑区域的平均成本值；

通过快速卫衣算法在所述缩放网格中分割出一组表征语义信息的聚类，所述聚类的质心为每个所述聚类对应的成本能量图的局部最大值；

基于各所述聚类构建神经网络模型，通过所述神经网络模型筛选得到至少一个安全平滑区域。

第二方法，本申请提供了一种融合LIDAR点云与图像数据的无人机自主选址降落系统，所述系统包括：

无人机，所述无人机上设置有NUC上位机支架、激光雷达相机支架，所述激光雷达相机支架上安装有激光雷达和相机；

所述NUC上位机支架上设置有NUC上位机，所述NUC上位机用以实现如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任意一种可能的实现方式提供的方法。

本发明的有益效果为：1.无需人为提前布置降落场景，有效距离可达450米远，定位精度高，可达厘米级别，以低成本、低负载实现无人机全面感知地面环境，建立完整的地貌三维彩色地图，解决无人机的自主选址困难，避免无人机在自主降落过程中产生损坏的问题，构建无人机合理的定位方案，供无人机自主选址降落。

2.不依靠GPS、IMU等不可靠传感器信息，在各种地形上空自主选取区域内最佳降落点进行降落，且能够快速有效的对存在安全隐患的降落地点进行筛选。

3.不易被外界光线干扰。有效保证了无人机的高空作业，以及安全选址降落。

4.可在夜间探测，应用范围更广。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种融合LIDAR点云与图像数据的无人机自主选址降落方法的流程示意图；

图2为本申请实施例提供的一种融合LIDAR点云与图像数据的无人机自主选址降落系统的结构示意图；

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

参见图1，图1是本申请实施例提供的一种融合LIDAR点云与图像数据的无人机自主选址降落方法的流程示意图。在本申请实施例中，所述方法包括：

S101、获取激光雷达采集的激光雷达点云数据流以及相机采集的图像数据流，基于所述激光雷达点云数据流以及所述图像数据流融合生成彩色点云图。

所述激光雷达（Light Detection and Ranging，LiDAR）在本申请实施例中可以理解为一种以激光器作为发射源，采用光电探测技术手段的主动遥感设备, 激光雷达是激光技术与现代光电探测技术结合的先进探测方式。

所述点云数据在本申请实施例中可以理解为在一个三维坐标系统中的一组向量集合。这些向量通常以X,Y,Z三维坐标的形式表示，主要用来代表一个物体的外表面形状。此外，点云数据还可以表示一个点的RGB颜色，灰度值，深度，分割结果。所述激光雷达点云数据即是指通过激光雷达扫描物体获得物体表面三维信息。

所述图像数据在本申请实施例中可以理解为通过相机拍摄获得物体表面成像的二维信息，用数值表示的图像各像素的灰度值集合。

所述数据流在本申请实施例中可以理解为是一组有序，有起点和终点的字节的数据序列。

在本申请实施例中，将分别获取表征三维信息的激光雷达点云数据流和表征二维信息的图像数据流，以此基于二者将二维数据与三维数据融合生成彩色点云图，进而便于后续过程的计算。

在一种可实施方式中，步骤S101包括：

在本申请实施例中，激光雷达和摄像机是安装在同一个方向的，以最大限度地重叠视场。且本申请虽然用到了GPS等定位系统，但本申请中定位系统不涉及定位，而是利用gps提供的时间脉冲同步激光雷达和摄像机之间的初始时间。在一棋盘平面上将激光雷达帧转换为相机帧后，便能够构建出激光雷达帧与相机帧之间的第一对应关系，即将激光雷达点云与图像数据相对应起来，以此实现基于第一对应关系来生成彩色点云图，使激光雷达与相机校准融合的彩色点云与真实场景所对应匹配的点能够精确对准。

具体的，由于相机的频率高于激光雷达，激光雷达在探测GPS的时间脉冲时会锁定相位，并及时搜索最近的图像。在时间t时，激光雷达帧中的一个点表示为：

其可以通过以下公式转换为相机帧：

式中，

是时间t时刻相机帧中的点，从激光雷达帧到相机帧的外变换矩阵由旋转矩阵

和平移向量

组成。

由于激光雷达的视场在水平和垂直方向上都比相机小，因此在安装中，可以投射到图像中的所有激光雷达点云都会被进行计算：

其中，

是图像坐标，

由焦距

确定，斜角

和图像中心点坐标是相机的固有参数矩阵。

在一种可实施方式中，所述将所述激光雷达点云数据流中的激光雷达帧转换为所述相机对应棋盘平面上的相机帧，包括：

获取多个视场角的所述棋盘对应关系，构建棋盘平面集合；

在本申请实施例中，内部参数矩阵和外部变换矩阵通过一个固定棋盘平面进行标定，该棋盘平面与激光雷达和相机具有相同的视场。内部参数矩阵

可以通过一个灵活的摄像机校准工具箱来估计。重建了棋盘角的位置以及棋盘平面后，假设棋盘平面分别以其法向量

和到传感器光心d的距离表示，能够分别得到任一视场角下激光雷达和相机的棋盘对应关系：

在确定有棋盘对应关系后，可以获得n个视场角中棋盘的集合：

最后利用外部变换矩阵变换的激光雷达帧中的一个点在摄像机帧中的平面上的对应关系，构造了以下约束方程即第一对应关系：

上式可以看作是一个非线性优化问题，可以由Levenberg–Marquardt算法求解。

S102、计算所述彩色点云图中的至少一个平滑区域，将距离无人机最近的所述平滑区域作为初始着陆点，并控制所述无人机向所述初始着陆点移动。

在本申请实施例中，生成彩色点云图后，便能够对彩色点云图进行计算来得到多个平滑区域，平滑区域即为适合无人机降落的表面平滑的区域。故首先将距离无人机最近的一个平滑区域作为初始着陆点，控制无人机向其移动。

在一种可实施方式中，步骤S102包括：

在本申请实施例中，为了能够计算出平滑区域，还需要对整个无人机系统进行定位，以此结合彩色点云图的相关计算结果计算出彩色云点图的特征点数据，并以此计算特征点数据与真实场景之间的第二对应关系，即将彩色点云图与实际的真实场景相匹配定位后，再进行平滑区域的计算。

其中，激光雷达和摄像机定位系统的框架参照RTAB地图构建方法。RTAB地图主要用于地面场景，级别从近到远，而我们的空对地场景分布在同一级别的高空。这意味着RTAB地图中的一些模块在无人机定位中失效。又由于定位系统框架将分为激光雷达定位和摄像机定位，故本申请提出了一种边缘和平面特征检测方法，该方法取代了ICP算法，从激光雷达点云序列中估计出无人机的运动。此外，由于激光雷达点云特征是脆弱的光滑地形，图像中的自然地标是必不可少的。RTAB地图用于协助激光雷达的立体摄像机不适用于远距离测距。为此，提出了一种单目关联色点云图重建的深度估计方法用于运动估计。

具体的，在激光雷达定位中，通过计算局部表面的光滑度，平面和边缘特征提取是越来越普遍的算法，假设S是以

为中心的区域，

是

的邻域，其中

∈S，则局部表面的平滑度定义为：

接着对所有点的得分进行排序，然后将最大和最小组分别表示为边和平面点，

具有很强的鲁棒性，能够区分边缘和平面点，这得益于地面水平空间中的层次结构。然而，由于无人机的姿态，

的值变得更大，从而降低了

检测特征点的能力。

为了解决这个问题，通过融合图像信息来评估局部表面的平滑度：

其中，

为通过权重来评估局部平滑度，即投影到图像平面上的激光雷达点云与其相邻点之间的相似性。假设激光雷达点

在图像平面的

（在三维空间中，而不是平面图像），

的平滑度定义为：

其中

表示从

到

,

和

表示沿一条路线的能量, 中值表示能量最小的路线, 延伸至平面的点

在视觉靠近其相邻点

，但远离边界。根据这一原理,将估计像素作为边界的概率SED（结构化边缘检测）来进行上式中的能量评估。

在检测到特征点后，下一个任务是匹配序列数据中的对应关系（即彩色点云图特征数据和实际真实地图中的点对应的关系）。不同于RTAB-MAP，特征匹配和运动估计是同步的。分别表示时间t时的边点

和平面点集

，在全局图中的特征点是

和

。从激光雷达帧到真实地图的每个点的转换是：

其中，

和

是需要通过姿态优化评估激光雷达运动，在实际应用中，选择最后一帧的变换作为初始化，并将特征点到其对应点的距离作为优化条件。

通过计算离k最近点

的协方差，可以很容易地分辨出点的平面和边缘特征，其中特征值最大的比单位秒大，特征值最小的比单位秒小，在世界地图中被认为是一条线或平面。具体计算方式如下：

在一种可实施方式中，所述计算所述彩色点云图中的至少一个平滑区域，包括：

在本申请实施例中，将应用彩色点云图和估计的无人机姿态，提出了成本能量图，以加权每个点的着陆可能性，具体如下所述：

其中，

、

和

分别表示平滑度、平整度和能耗成本，如图1备选着陆点检测模块所示，在约束条件为

的情况下，对成本图的

，

和

重新加权参数，替代着陆点检测的成本图和权重参数的具体过程如下：

平滑度成本图

：通常情况下，适合无人机着陆的平坦场地在自然场景中具有相似的视觉颜色，图像的边缘轮廓意味着该区域充满了各种不规则形状的物体，由于在飞行过程中获得了无人机作业场景的彩色地图，因此可以直接计算全局区域中的地图边缘，而不是每个图像帧，采用高斯滤波器对图像噪声进行Canny边缘检测，生成二值边缘图，合适的着陆点可以通过在边缘地图上找一个最大的圆心来确定，其中没有边缘点。圆的半径可以用距离变换法求解，距离变换法计算出地图上每个最近边点之间的距离。对于地图中每个点

，平滑度成本图由圆半径定义：

其中，

中的

表示为边缘点。

平整度成本图

：当获得三维点云图时，可以分析无人机作业场景地形的几何形状，适合无人机着陆的地方应该是一个大且平的平面。点云图中每个点的平面可以通过其法向

与垂直矢量z之间的角度来测量：

其中，每个点的成本能量由高斯核计算：

其中

和

是所有点的平均值和偏差。与平滑度成本图类似，可以通过在法向地图中找到一个以点为中心的球体来确定土地的位置，其中

所有点都是累积的，为了提高速度，在PCL库中建立了KD—树。用于搜索半径范围内查询点的最近邻点，并用主成分分析法估计曲面法向。平整度成本由一下方程式表示：

其中，

表示以圆周率

为中心的球体。

能耗成本图

：影响着陆地点选择的最后一个因素是无人机到达着陆地点所消耗的能力，精确估计从当前位置沿着最优路径到地图中每个点的无人机消耗能量是很费时的，因此可以使用欧几里得距离来近似贴近该成本图：

其中，

表示无人机的当前位置。

权重参数：对于每个能耗图，执行标准化以将其值缩放到[0,1]。平面度成本图能最直接地找到较大的平面面积，因此

的值大于

和

，由于激光雷达点云密度和采样频率均低于摄像机，激光雷达点云地图密度容易受到无人机飞行速度和高度限制，平滑度能耗图作为检测同一物质组成的区域补充，将

指定为最小的值，并将能耗成本低于某一阀值（允许无人机有足够的能力到达地面）。所有的成本图的总和参数可以分别设置为0.5、0.3和0.2，通过此判断合适的着陆点即平滑区域。

S103、在移动至所述初始着陆点的过程中，对所有所述平滑区域对应的语义信息进行可视化分析，筛选得到至少一个安全平滑区域。

在本申请实施例中，着陆点的标准主要包括在可接受的坡度范围内，没有障碍物，足够大和靠近无人机，可以通过构建成本能量图来量化这些因素，并从地图的集合和纹理信息中可以得出若干适宜点。然而，诸如浅水区域或公路交通极其限制无人机着陆的场景，存在潜在的不安全因素，因此，还需要通过确定着陆点的语义，最终获得无人机最安全的着陆点即安全平滑区域。且上述过程是在无人机移动至初始着陆点的过程中进行计算的，语义分析过程可以应用传统图像CNN识别方法来提高着陆安全性，需要说明的是，虽然CNN是一种耗时的方法，但由于本申请的前述步骤已经获得了地图和其他着陆位置，已经节省了较多的计算过程，故仍然可以在少量位置识别上花费很短的时间。这种首先确认所有平滑区域，再从平滑区域中筛选出安全平滑区域的方式也是为了简化计算过程，增加无人机自主降落的效率。

在一种可实施方式中，步骤S103包括：

通过快速卫衣算法在所述缩放网格中分割出一组表征语义信息的聚类，将所述聚类的质心确定为每个所述聚类对应的成本能量图的局部最大值；

在本申请实施例中，快速卫衣算法通过迭代将每个网格

转移到最近的相邻网格

找到成本模式

，成本值较低，如下所示：

其中

是

和

和

之间的距离，内核函数θ是网格

的密度，迭代过程产生了一系列关于备选着陆点的质心。

为了平衡识别时间和输出精度，可以采用ResNet50神经网络模型对备选着陆点进行语义识别，通过聚类算法可以识别点提示到场景中心。接着以其他着陆位置为中心的图像地图发送至ResNet50网络。其中补丁大小可以调整为（224x224x3），设置为输入层，馈入49个卷积网络和一个完全连接的层。全连接层输出输入图像可分类的所有类别的概率。神经网络模型构建和训练完成后，便能够根据其来对平滑区域进行筛选，得到至少一个安全平滑区域。

S104、将距离所述无人机当前位置最近的所述安全平滑区域确定为最终着陆点，控制所述无人机降落至所述最终着陆点。

在本申请实施例中，由于上述筛选安全平滑区域的过程是在无人机飞行过程中进行的，故在筛选出安全平滑区域后，将会以无人机当前位置最近的安全平滑区域确定为最终的着陆点，以此控制无人机降落至该处。这样使得当最初确定的着陆点为安全平滑区域时，能够节省无人机的飞行时间和能耗，着陆效率更高。

下面将结合附图2，对本申请实施例提供的融合LIDAR点云与图像数据的无人机自主选址降落系统进行详细介绍。需要说明的是，附图2所示的融合LIDAR点云与图像数据的无人机自主选址降落系统，用于执行本申请图1所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图1所示的实施例。

请参见图2，图2是本申请实施例提供的一种融合LIDAR点云与图像数据的无人机自主选址降落系统的结构示意图。如图2所示，所述系统包括：

无人机3，所述无人机3上设置有NUC上位机支架1、激光雷达相机支架2，所述激光雷达相机支架2上安装有激光雷达5和相机6；

所述NUC上位机支架1上设置有NUC上位机4，所述NUC上位机4用以实现如图1所示实施例的实现方式提供的方法的步骤。

参见图3，其示出了本申请实施例所涉及的一种电子设备的结构示意图，该电子设备可以用于实施图1所示实施例中的方法。如图3所示，电子设备300可以包括：至少一个中央处理器301，至少一个网络接口304，用户接口303，存储器305，至少一个通信总线302。

其中，通信总线302用于实现这些组件之间的连接通信。

其中，用户接口303可以包括显示屏（Display）、摄像头（Camera），可选用户接口303还可以包括标准的有线接口、无线接口。

其中，网络接口304可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。

其中，中央处理器301可以包括一个或者多个处理核心。中央处理器301利用各种接口和线路连接整个电子设备300内的各个部分，通过运行或执行存储在存储器305内的指令、程序、代码集或指令集，以及调用存储在存储器305内的数据，执行终端300的各种功能和处理数据。可选的，中央处理器301可以采用数字信号处理（Digital SignalProcessing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。中央处理器301可集成中央中央处理器（Central Processing Unit，CPU）、图像中央处理器（GraphicsProcessing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到中央处理器301中，单独通过一块芯片进行实现。

其中，存储器305可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器305包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器305可用于存储指令、程序、代码、代码集或指令集。存储器305可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器305可选的还可以是至少一个位于远离前述中央处理器301的存储装置。如图3所示，作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。

在图3所示的电子设备300中，用户接口303主要用于为用户提供输入的接口，获取用户输入的数据；而中央处理器301可以用于调用存储器305中存储的融合LIDAR点云与图像数据的无人机自主选址降落应用程序，并具体执行以下操作：

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims

1.一种融合LIDAR点云与图像数据的无人机自主选址降落方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取激光雷达采集的激光雷达点云数据流以及相机采集的图像数据流，基于所述激光雷达点云数据流以及所述图像数据流融合生成彩色点云图，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述激光雷达点云数据流中的激光雷达帧转换为所述相机对应棋盘平面上的相机帧，包括：

获取多个视场角的所述棋盘对应关系，构建棋盘平面集合；

4.根据权利要求1所述的方法，其特征在于，所述计算所述彩色点云图中的至少一个平滑区域，将距离无人机最近的所述平滑区域作为初始着陆点，并控制所述无人机向所述初始着陆点移动，包括：

5.根据权利要求4所述的方法，其特征在于，所述计算所述彩色点云图中的至少一个平滑区域，包括：

6.根据权利要求5所述方法，其特征在于，所述在移动至所述初始着陆点的过程中，对所有所述平滑区域对应的语义信息进行可视化分析，筛选得到至少一个安全平滑区域，包括：

7.一种融合LIDAR点云与图像数据的无人机自主选址降落系统，其特征在于，所述系统包括：

所述NUC上位机支架上设置有NUC上位机，所述NUC上位机用以实现如权利要求1-6任一项所述方法的步骤。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。