CN113359810A - 一种基于多传感器的无人机着陆区域识别方法 - Google Patents
一种基于多传感器的无人机着陆区域识别方法 Download PDFInfo
- Publication number
- CN113359810A CN113359810A CN202110864501.4A CN202110864501A CN113359810A CN 113359810 A CN113359810 A CN 113359810A CN 202110864501 A CN202110864501 A CN 202110864501A CN 113359810 A CN113359810 A CN 113359810A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- landing area
- unmanned aerial
- aerial vehicle
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于多传感器的无人机着陆区域识别方法，涉及无人机技术领域。该方法通过对无人机搭载的相机拍摄的图像数据进行图像特征提取和语义分割以确定可能的降落区域位置，然后引导无人机飞向该可能的降落区域；当无人机飞到低空时，利用激光雷达，IMU和GPS传感器获得的数据建立可降落区域的三维点云地图，并通过利用深度学习方法提取点云语义特征，对三维环境模型进行语义分割，生成带语义标签的三维点云地图，然后从该点云地图中得到降落区域的精确三维位置信息并引导无人机完成自主着陆。该方法融合了激光雷达、相机和IMU等传感器的数据，得到无人机可降落区域的精确三维位置信息，实现对无人机着陆区域的精确鲁棒识别。
Description
技术领域
本发明涉及无人机技术领域，尤其涉及一种基于多传感器的无人机着陆区域识别方法。
背景技术
无人机在近些年得到了越来越广泛的应用，比如在军事领域无人机可以广泛应用于信息侦查、运输物资、无人作战等领域，在民用领域无人机可以广泛应用于影像拍摄、灾害检测、电力巡检、农业植保等领域。由于无人机及搭载的设备往往造价昂贵，若在飞行中出现意外，不仅会严重损坏无人机和搭载设备，还会对地面的设施造成不可预知的伤害，若伤及行人后果更是不堪设想。目前针对无人机飞行安全的技术方案已陆续出现，如：用各种传感器进行主动避障、用通讯系统互相告知当前位置等等。然而，无人机的自主安全着陆能力作为安全飞行的重要一环，目前仍有很大提升空间。
目前，绝大多数无人机在遇到如电池电量低、丢失遥控信号、失去GPS信号、天气突变等需要迅速降落的紧急情况时，往往是原地下降，这就存在较大风险，如无人机降落时桨叶碰到树枝或高压线，无人机误降落到水面、道路中间或人群密集区。事实上，这种情况在实际操作过程中经常发生，现有的这种盲目的降落方式往往既损坏无人机和设备，又会对地面物品和人身安全造成严重损害。可以想象如果无人机在遇到紧急情况或者在收到降落指令后，能够开启自主降落模式，实时检测安全降落区域着陆面，自主选择合适降落地点并实时识别周围环境目标具有重要的研究意义和广阔的应用前景。而为了实现这一目标，无人机必须具有自主的环境感知的能力，从而能够实现在复杂环境中的地形识别与建模，自主选择适合着陆面。
中国专利“CN11250937A一种无人机飞行着陆视觉处理系统及方法”提供了一种无人机飞行着陆视觉处理系统及方法。此专利包括：拍摄模块，其拍摄摄像头摄像范围内的图像；无人机识别模块，其识别拍摄模块拍摄的图像是否为无人机；和无人机相对位置定位模块，其将无人机识别模块识别出的无人机图像进行图像分割并定位无人机的相对位置。但该技术方案仅使用摄像头作为着陆区域的识别模块，使用图像分割定位无人机的相对位置。这种仅使用单一摄像头传感器数据给自主着陆系统提供信息，如果在光照不充足的情况下，会导致准确率较低、适用范围较窄且鲁棒性较差的问题；并且二维图像无法提供可降落区域精确的三维位置信息。
发明内容
本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于多传感器的无人机着陆区域识别方法，使得无人机能够在遇到紧急情况或者收到降落指令后，基于多传感器实现低空多维地形信息建模并基于深度学习实现语义层次地形信息分类，自动识别安全的停机区域。
为解决上述技术问题，本发明所采取的技术方案是：一种基于多传感器的无人机着陆区域识别方法，具体为：
对相机拍摄的图像进行图像特征提取和语义分割，以确定图像中可降落区域的位置；
通过无人机携带的激光雷达确定可降落区域的点云数据，确定可降落区域的三维环境模型；
提取激光雷达点云数据的语义特征，对三维环境模型进行语义分割，得到可降落区域的三维语义信息；
通过对激光雷达点云数据的语义类别标签进行筛选，得到候选着陆区域；
利用候选着陆区域点云的几何特征作为约束项选择最合适的着陆点。
进一步地，所述方法还包括在相机拍摄前对无人机搭载的相机、激光雷达和IMU进行标定，具体包括：
(1)对无人机搭载的相机、激光雷达和IMU进行时间同步；
将相机的触发模式设置为硬件触发模式，通过放置在无人机上单片机的I/O接口与相机进行连接，由单片机的MCU模块给相机发送触发脉冲信号进行采图；相机在触发后输出通过Strobe信号实现的开关信号，该信号为高电平有效；使用相机输出的Strobe信号对激光雷达和IMU传感器进行硬触发；
(2)对无人机搭载的相机、激光雷达和IMU进行空间同步；
使用标定工具箱对相机、激光雷达和IMU进行外参标定，得到不同传感器数据坐标系之间的坐标变换矩阵，将传感器得到的信息整合到同一个坐标系中。
进一步地，所述方法通过深度学习方法对相机拍摄的图像进行图像特征提取和语义分割，以确定图像中可降落区域的位置，具体方法为：
构建基于图像的可降落区域识别模型进行图像特征提取和语义分割，该模型包括下采样模块、全局特征提取模块、特征融合模块和分类器模块；
所述下采样模块通过卷积网络对输入图像进行学习下采样；所述卷积网络采用三层卷积网络，其中，第一层是一个标准的卷积层，其它两个层则为深度可分离卷积层；与标准卷积不同，在深度可分离卷积层中一个卷积核只负责一个通道，一个通道也只被一个卷积核卷积；这三层网络使用的步长均为2，并加入批标准化层和ReLU激活层；标准卷积层的卷积核和深度可分离卷积层的核大小为3×3；
所述全局特征提取模块使用瓶颈残差模块来提取下采样模块输出图像的特征，在瓶颈残差模块上使用残差连接层来融合下采样模块各层的信息，并在瓶颈残差模块的末端增加金字塔池化模块；
所述特征融合模块将下采样模块得到的特征经过卷积层处理，并与全局特征提取模块得到的特征直接相加融合，得到特征张量；
所述分类器模块使用两个深度可分离卷积层和一个标准卷积层将特征融合得到的特征张量输出为具有语义类别标签的图片，实现对输入的图片信息进行分类，获得图像中每一部分对应的地形信息，进而初步地找到无人机可降落的区域。
进一步地，所述方法通过无人机携带的激光雷达确定可降落区域的点云数据，并结合IMU得到的无人机的运动变化及无人机上GPS模块接收的数据信息确定可降落区域的三维环境模型，具体方法为：
步骤1、使用IMU得到无人机的运动变化对激光点云数据进行运动补偿，从而得到消除运动畸变的点云数据；
步骤2：提取每帧点云的平面特征，将上一帧点云的特征点转换到当前帧坐标系下，对当前帧点云中的面点在上一帧点云中找距离最近的三个点，三个点构成一个面块，以此完了当前帧和上一帧的特征匹配；随后，根据匹配到的面块，求出对应的点面距离，并基于点面距离构造点面距离约束，以此建立点云特征点匹配的最小二乘问题，优化求解激光帧间的相对位姿变化，输出无人机的运动状态，以实现激光里程计的计算；
步骤3：将无人机GPS模块接收的经度、纬度和高度数据通过坐标变换转换到无人机所在的局部坐标系下，然后利用GPS信息对仅基于激光雷达的运动估计提供绝对位置约束；
步骤4：在得到优化后的里程计后，依据点云帧的位姿关系对点云进行拼接，得到三维环境模型；
将点云空间进行体素划分，然后依据里程计信息建立局部体素地图，通过局部体素地图中的平面特征和全局体素地图进行配准，得到精确的位姿变化，消除前端里程计存在的累积误差，并且根据优化后的位姿对点云进行拼接，得到可降落区域三维环境模型。
进一步地，所述方法通过深度学习方法提取激光雷达点云数据的语义特征，对三维环境模型进行语义分割，得到可降落区域的三维语义信息，具体方法为：
步骤S1：将输入点云中点的原始点坐标变换到以重心为原点的局部坐标系中，并将点云坐标进行归一化处理，以消除尺度影响；
步骤S2：在归一化后的点云上建立低分辨率体素网格，依照点云坐标将点云映射到体素网格中，并将落入同一体素网格中的所有点的特征的平均值作为该体素网格的特征；
步骤S3：通过建立网格坐标系并将体素网格中的非空部分的特征和其对应坐标另存为一个张量，称为稀疏张量，然后通过基于体素的三维稀疏卷积网络聚合非空体素网格与其对应相邻体素网格的特征；
稀疏卷积网络在卷积运算前根据稀疏张量显示的输入张量中的空向量与非空向量的位置，在进行卷积运算时只计算包含非空向量的卷积核；稀疏卷积网络的步长为1，卷积核尺寸为3×3，并加入BN层和Leaky ReLU激活层；
步骤S4：采用三线性插值算法将经过特征融合的体素网格特征转换为点云中每点的体素网格特征；
步骤S5：将点云中每个点的特征输入到权值共享的多层感知器来直接提取各个点的特征信息，并将提取的点特征与体素网格提取的特征融合，融合后的特征中既包含精细的单点特征，也包含点的局部近邻区域的特征，进而从融合后的特征中提取三维点云语义信息，三维点云语义信息包含每一个点的x,y,z坐标信息和每个点的语义类别标签信息。
进一步地，所述通过对激光雷达点云数据的语义类别标签进行筛选，得到候选降落区域的具体方法为：
搜索带语义标签的点云地图中地面的地形，选择最适合着陆的地形所在区域作为候选着陆区域，并提取候选着陆区域对应的点云；根据无人机在不同地形环境中着陆的难易程度，适合着陆的地形的优先顺序为：铺装地面、硬质土地、草地与沙地。
进一步地，所述在候选降落区域语义特征的基础上加入激光雷达点云数据的几何特征作为约束项，得到最终的着陆区域的具体方法为：
利用体素网格对候选着陆区域点云进行下采样，得到稀疏的候选着陆区域点云地图；
设定无人机最终的着陆区域为圆形，并将点云中的每个点设为可能的无人机候选着陆区域的中心点；对于每一个可能中心点，提取该点在原始点云中对应的近邻点云；采用几何方法来计算这部分点云的属性来估计候选着陆区域的地形，去除不满足降落条件的候选着陆区域，并对其他候选着陆计算分数，确定最佳着陆区域。
进一步地，采用几何方法来计算这部分点云的属性来估计候选着陆区域的地形，去除不满足降落条件的候选着陆区域，并对其他候选着陆计算分数，确定最佳着陆区域的具体方法为：
(1)首先，统计候选着陆区域点云中点的数目，若点云数目小于设定阈值则这部分候选着陆区域不适合作为着陆区域；
(2)计算候选着陆区域点云中每点的z坐标值的标准差，若标准差大于设定阈值则候选着陆区域不适合作为着陆区域；
(3)确定候选着陆区域是否为水平面；采用RANSAC算法从点云中拟合平面，若无法拟合出平面或拟合出的平面坡度大于设定阈值，则候选着陆区域不适合作为着陆区域；
采用平面法线与z坐标轴的夹角来计算平面的坡度，即：
其中，vup＝(0，0，-1)为z坐标轴的向量，n为由RANSAC算法拟合得到的平面法线的向量，α为平面的坡度；
(4)通过定量计算为其他候选着陆区域计算一个分数，如下公式所示：
其中，σz为候选着陆区域中每点的z坐标值的标准差，α为着陆区域拟合平面的坡度，T为无人机着陆时的稳定度；
对于所有其他候选着陆区域，选择分数最大的区域为最佳着陆区域。
采用上述技术方案所产生的有益效果在于：本发明提供的一种基于多传感器的无人机着陆区域识别方法，首先通过对相机拍摄的图像数据进行特征提取和语义分割以确定可能的降落区域大致位置，然后引导无人机飞向该可能的降落区域，然后对激光雷达、IMU和相机等传感器的数据进行融合得到降落区域的精确三维位置信息。还将利用深度学习方法提取的点云语义特征与利用传统几何方法提取的点云特征相结合，以进一步提高算法的准确性与鲁棒性，实现对无人机着陆区域的精确鲁棒识别。针对传统的无人机着陆点识别方法中存在的只利用相机或激光雷达等单一传感器的数据进行识别导致的准确率较低、适用范围较窄且鲁棒性较差的问题，该方法在很大程度上摆脱了单一传感器数据给自主着陆系统提供的信息不足、数据不准的问题。
该方法融合了激光雷达、相机和IMU等传感器的数据，得到无人机可降落区域的精确三维位置信息，并且基于深度学习的方法使用的是轻量化的网络结构，使整个识别方法能够应用到无人机板载有限的处理资源上面，实现对无人机着陆区域的精确鲁棒识别。
附图说明
图1是本发明实施例提供的一种基于多传感器的无人机着陆区域识别方法的系统结构图；
图2是本发明实施例提供的基于图像的可降落区域搜索部分的算法结构图；
图3是本发明实施例提供的基于点云数据的三维环境建模部分的算法结构图；
图4是本发明实施例提供的基于点云数据的三维环境语义分割部分的算法结构图；
图5是本发明实施例提供的基于语义信息的可降落区域检测与识别部分的算法结构图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例中，一种基于多传感器的无人机着陆区域识别方法，在高空中，无人机通过对相机拍摄的图像数据进行图像特征提取和语义分割以确定可能的降落区域位置，然后引导无人机飞向该可能的降落区域；当无人机飞到低空时，利用激光雷达，IMU和GPS传感器获得的数据建立局部的三维点云地图，并通过点云的语义分割方法生成带语义标签的三维点云地图，然后从该点云地图中得到降落区域的精确三维位置信息并引导无人机完成自主着陆，如图1所示，具体包括以下步骤：
步骤1：对无人机搭载的相机、激光雷达和IMU进行标定；
为了能使无人机充分利用自身搭载的不同的传感器进行着陆区域识别，对无人机搭载的相机、激光雷达和IMU进行标定，实现图像数据、激光雷达点云数据与无人机位姿数据之间的融合；
(1)对无人机搭载的相机、激光雷达和IMU进行时间同步；
将相机的触发模式设置为硬件触发模式，通过放置在无人机上的Stm32单片机的I/O接口与相机进行连接，由Stm32的MCU模块给相机发送触发脉冲信号进行采图；相机在触发后输出通过Strobe信号实现开关信号，，该信号为高电平有效；使用相机输出的Strobe信号对激光雷达和IMU传感器进行硬触发；由于Strobe信号早于相机曝光生效，工作原理为延迟相机曝光先进行Strobe输出，因此该功能可应用于响应比较慢的外部设备。
(2)对无人机搭载的相机、激光雷达和IMU进行空间同步；
使用标定工具箱对相机、激光雷达和IMU进行外参标定，得到不同传感器数据坐标系之间的坐标变换矩阵，将传感器得到的信息整合到同一个坐标系中，为进一步的传感器采集到数据的融合做准备；
空间同步标定部分主要涉及的工作有传感器的内参标定和传感器之间的外参标定，本实施例通过Kalibr工具箱和autoware calibration toolkit工具箱来完成空间标定。
步骤2：基于图像的可降落区域搜索；通过深度学习方法对相机拍摄的图像进行语义分割，以确定图像中可降落区域的位置；
当无人机在高空时，激光雷达的数据较为稀疏，无法识别着陆区域，因此首先通过对相机拍摄的图像数据进行图像特征提取和语义分割以确定可能的降落区域位置。由于需要在移动计算平台上对输入的图像进行处理，因此本发明采用一种轻量化的图像特征提取网络作为图像的可降落区域识别模型进行图像特征提取和语义分割，以提高网络的运行速度，该网络由下采样模块、全局特征提取模块、特征融合模块和分类器模块这四个模块组成，其结构模型如图2所示。
所述下采样模块通过卷积网络对输入图像进行学习下采样；所述卷积网络采用三层卷积网络，其中，第一层是一个标准的卷积层，其它两个层则为深度可分离卷积层；与标准卷积不同，在深度可分离卷积层中一个卷积核只负责一个通道，一个通道也只被一个卷积核卷积，其运算所需的参数与标准卷积相比大大减少。尽管深度可分离卷积层具有较高的计算效率，但是由于输入图像只有3个通道，这使得在这个阶段，深度可分离卷积层计算速度上的优势并没有得到体现，因此在深度可分离卷积层前加入了卷积层来提高深度可分离卷积层的输入通道数。这三层网络使用的步长均为2，并加入批标准化层和ReLU激活层；标准卷积层的卷积核和深度可分离卷积层的核大小为3×3；
所述全局特征提取模块使用瓶颈残差模块来提取下采样模块输出图像的特征，在瓶颈残差模块上使用残差连接层来融合下采样模块各层的信息，并在瓶颈残差模块的末端增加金字塔池化模块；
将下采样后的图像特征输入到特征提取模块，其目的在于捕捉图像分割所需的全局环境信息。为进一步加快网络的运行速度，我们使用高效的瓶颈残差模块来构建特征提取网络，这种模块提高计算效率的同时还降低了网络的参数数量，减轻了内存负担。我们在瓶颈残差模块上使用残差连接层来融合下采样模块各层的信息。最后我们在模块的末端增加了金字塔池化模块该模块可以充分聚合不同感受野下得到的不同大小区域的局部信息，提高了网络的准确率与鲁棒性。
所述特征融合模块将下采样模块得到的特征经过卷积层处理，并与全局特征提取模块得到的特征直接相加融合，得到特征张量；这种融合方法可以在确保不损失原始特征与深度特征的前提下尽可能地降低运算量，提高模型的运算速度。
所述分类器模块使用两个深度可分离卷积层和一个标准卷积层将特征融合得到的特征张量输出为具有语义类别标签的图片，实现对输入的图片信息进行分类，获得图像中每一部分对应的地形信息，进而初步地找到无人机可降落的区域，为无人机低空识别精确的降落区域提供基础；
步骤3：针对基于相机图像初步确定的可降落区域，通过无人机携带的激光雷达确定该区域的点云数据，并结合IMU得到的无人机的运动变化及无人机上GPS模块接收的数据信息确定该可降落区域的三维环境模型；
步骤3.1、使用IMU得到无人机的运动变化对激光点云数据进行运动补偿，从而得到消除运动畸变的点云数据；
步骤3.2：提取每帧点云的平面特征，将上一帧点云的特征点转换到当前帧坐标系下，对当前帧点云中的面点在上一帧点云中找距离最近的三个点，三个点构成一个面块，以此完了当前帧和上一帧的特征匹配；随后，根据匹配到的面块，求出对应的点面距离，并基于点面距离构造点面距离约束，以此建立点云特征点匹配的最小二乘问题，优化求解激光帧间的相对位姿变化，输出无人机的运动状态，以实现激光里程计的计算；
步骤3.3：将无人机GPS模块接收的经度、纬度和高度数据通过坐标变换转换到无人机所在的局部坐标系下，然后利用GPS信息对仅基于激光雷达的运动估计提供绝对位置约束；
步骤3.4：在得到优化后的里程计后，依据点云帧的位姿关系对点云进行拼接，得到三维环境模型；
将点云空间进行体素划分，然后依据里程计信息建立局部体素地图，通过局部体素地图中的平面特征和全局体素地图进行配准，得到精确的位姿变化，消除前端里程计存在的累积误差，并且根据优化后的位姿对点云进行拼接，得到可降落区域精确的全局一致的三维环境模型；
当无人机通过图像分割之后得到的地形信息识别出大致的着陆区域时，我们引导无人机来到着陆区域上空，然后利用无人机携带的激光雷达等传感器对候选着陆区域环境进行建模，以得到着陆区域的地形信息。三维环境建模算法框架如图3所示。考虑到无人机着陆环境为室外空旷区域，周围环境中可能缺乏足够的环境特征，使得仅使用激光雷达进行运动估计会存在失败的情况，为此算法中考虑结合激光里程计与GPS数据提供无人机运动的空间位置信息，给无人机运动姿态的估计增加位置约束，从而增强无人机运动估计的鲁棒性，提高运动估计的精度。
为了得到正确的环境点云信息，首先需要对激光雷达点云进行去畸变处理。本发明使用IMU得到的运动变化对激光点云进行运动补偿，从而得到消除运动畸变的点云数据。
为了计算无人机的运动位姿，我们需要得到相邻帧间的姿态变换关系，从而对运动状态进行估计。由于一帧点云的数据量很大，使用一帧激光的全部点云进行处理是不可行的，无法满足实际情况下实时性的要求，因此使用点云的特征点来代替整帧点云进行姿态变换的求解。对于点云特征的提取，为了提高姿态估计的准确性，我们只提取点云的平面特征。对点云中面点特征进行提取，使用当前点的周围点计算局部点云的曲率，曲率大的被认为是边缘点，曲率小的被认为是平面点，因此选区曲率小的局部点云作为平面特征。
在提取每帧点云的特征后，我们需要对不同帧间点云的特征进行匹配，从而求出两帧点云之间的位姿变换。我们将上一帧点云的特征点转换到当前帧坐标系下，对当前帧点云中的面点在上一帧点云中找距离最近的三个点，三个点构成一个面块，以此完了当前帧和上一帧的特征匹配。随后，根据匹配到的面块，我们求出对应的点面距离，并基于点面距离构造点面距离约束，以此建立点云特征点匹配的最小二乘问题，优化求解激光帧间的相对位姿变化，输出载体的运动状态，以实现激光里程计的计算。
由于考虑到室外空旷环境可能缺乏足够的环境特征，使得激光特征匹配存在失败的情况，因此考虑使用GPS信息来反馈测量无人机的空间位置，对无人机的运动估计增加位置约束，从而提高无人机运动估计的精度和鲁棒性。我们首先将GPS模块接收的经度、纬度和高度数据通过坐标变换转换成，而本项目中需要使用到无人机位置信息，因此需要将这些数据转换到无人机所在的局部坐标系下，然后利用GPS信息对仅基于激光雷达的运动估计提供绝对位置约束，消除一定运动估计的累计误差，以提高运动估计的精度。
在得到优化后的里程计后，可以依据点云帧的位姿关系对点云进行拼接。为了降低处理的点云数据量，将点云空间进行体素划分，然后依据里程计信息建立局部体素地图，通过局部体素地图中的平面特征和全局体素地图进行配准，得到精确的位姿变化，消除前端里程计存在的累积误差，并且根据优化后的位姿对点云进行拼接，得到精确的全局一致的三维环境模型。
步骤4：通过深度学习方法提取激光雷达点云数据的语义特征，对三维环境模型进行语义分割，得到可降落区域的精确三维语义信息，以获得无人机所在周围环境中地面与物体的三维位置信息；
步骤4.1：将输入点云中点的原始点坐标变换到以重心为原点的局部坐标系中，并将点云坐标进行归一化处理，以消除尺度影响；
步骤4.2：在归一化后的点云上建立低分辨率体素网格，依照点云坐标将点云映射到体素网格中，并将落入同一体素网格中的所有点的特征的平均值作为该体素网格的特征；
步骤4.3：通过建立网格坐标系并将体素网格中的非空部分的特征和其对应坐标另存为一个张量，称为稀疏张量，然后通过基于体素的三维稀疏卷积网络聚合非空体素网格与其对应相邻体素网格的特征；
稀疏卷积网络在卷积运算前根据稀疏张量显示的输入张量中的空向量与非空向量的位置，在进行卷积运算时只计算包含非空向量的卷积核；稀疏卷积网络的步长为1，卷积核尺寸为3×3，并加入BN层和Leaky ReLU激活层；
步骤4.4：采用三线性插值算法将经过特征融合的体素网格特征转换为点云中每点的体素网格特征；
步骤4.5：将点云中每个点的特征输入到权值共享的多层感知器来直接提取各个点的特征信息，并将提取的点特征与体素网格提取的特征融合，融合后的特征中既包含精细的单点特征，也包含点的局部近邻区域的特征，进而从融合后的特征中提取三维点云语义信息，三维点云语义信息包含每一个点的x,y,z坐标信息和每个点的语义类别标签信息；
在得到候选着陆区域的三维环境模型后，我们首先需要判断环境中可用于着陆的区域，为此首选对三维地形模型进行语义分割，以得到候选着陆区域的精确三维语义信息，为着陆区域的识别做准备。为了尽可能减少计算时间和内存占用率，提高实时性，我们选择将点云网格卷积与稀疏卷积相结合，既利用体素化的稀疏卷积高效地提取特征，又融合点云自身的特征，弥补体素化的信息损失，避免直接处理点云所带来的巨大的非规则数据访问开销。
基于点云的三维环境分割网络的结构如图4所示，首先将输入点云中点的原始点坐标变换到以重心为原点的局部坐标系中，并将点云坐标进行归一化处理，以消除尺度影响。然后在归一化后的点云上建立低分辨率体素网格，依照点云坐标将点云映射到体素网格中，并将落入同一体素网格中的所有点的特征的平均值作为该体素网格的特征。由于室外场景下的激光雷达点云具有稀疏且不规则的特点，体素网格中多数网格不包含点，其对应的体素特征为空，因此可以通过建立网格坐标系并将体素网格中的非空部分的特征和其对应坐标另存为一个张量，称为稀疏张量，然后通过基于体素的三维稀疏卷积网络聚合非空体素网格与其对应相邻体素网格的特征。稀疏卷积网络在卷积运算前根据稀疏张量显示的输入张量中的空向量与非空向量的位置，在进行卷积运算时只计算包含非空向量的卷积核。与标准的三维卷积网络相比，稀疏卷积网络大大减少了卷积核运算的次数，因此具有更快的运算速度。模块中稀疏卷积网络的步长为1，卷积核尺寸为3×3，并加入BN层和LeakyReLU激活层。最后，采用三线性插值算法将经过特征融合的体素网格特征转换为点云中每点的体素网格特征。
为了进一步提高获取点云语义信息的精度，我们利用基于单点的点云处理的方法直接从原始点云中提取单点特征。我们将每个点的特征输入到权值共享的多层感知器来直接提取各个点的特征信息，并将提取的点特征与体素网格提取的特征融合，融合后的特征中既包含精细的单点特征，也包含点的局部近邻区域的特征，进而从融合后的特征中提取三维点云语义信息，三维点云语义信息包含每一个点的x,y,z坐标信息和每个点的语义类别标签信息。
步骤5：基于语义信息的可降落区域检测与识别，如图5所示；通过对激光雷达点云数据的语义类别标签进行筛选，得到候选着陆区域，并在语义特征的基础之上加入激光雷达点云数据的几何特征作为约束项，得到最终的着陆区域；
步骤5.1：首先搜索带语义标签的点云地图中地面的地形，选择最适合着陆的地形所在区域作为候选着陆区域，并提取候选着陆区域对应的点云；根据无人机在不同地形环境中着陆的难易程度，适合着陆的地形的优先顺序为：铺装地面、硬质土地、草地与沙地；
步骤5.2：通过对点云的语义标签进行筛选，可以得到候选的降落区域，但考虑到语义特征提取的鲁棒性等因素，该候选降落区域中并非所有区域都可以作为无人机的可降落区域。为了确保算法选择着陆区域的正确性与稳定性，利用候选着陆区域点云的几何特征作为约束项选择最合适的着陆点；
步骤5.2.1：首先利用0.5m的体素网格对点云进行下采样，得到稀疏的候选着陆区域点云地图。
步骤5.2.2：设定无人机最终的着陆区域为圆形，并将点云中的每个点设为可能的无人机候选着陆区域的中心点。对于每一个可能中心点，提取该点在原始点云中对应的近邻点云。该点云可以反映候选着陆区域的地形。采用几何方法来计算这部分点云的属性来估计候选着陆区域的地形。
(1)首先，统计候选着陆区域点云中点的数目，若点云数目小于设定阈值则说明这部分区域没有被充分检测到或存在水面等不适合着陆的地形，不适合作为着陆区域；
(2)然后，计算候选着陆区域点云中每点的z坐标值的标准差，若标准差大于设定阈值则说明候选着陆区域可能为倾斜面或存在凹凸不平的情况，同样不适合作为着陆区域。
(3)最后，进一步确定候选着陆区域是否为水平面；使用RANSAC算法从点云中拟合平面，若无法拟合出平面或拟合出的平面坡度过大，则说明候选着陆区域不适合作为着陆区域。
采用平面法线与z坐标轴的夹角来计算平面的坡度，即：
其中vup＝(0，0，-1)为z坐标轴的向量，n为由RANSAC算法拟合得到的平面法线的向量，α为平面的坡度。
(4)为了计算适合无人机着陆的最佳着陆点，我们通过定量计算为其他每个候选着陆区域计算一个分数，如下公式所示：
其中，σz为候选着陆区域中每点的z坐标值的标准差，α为候选着陆区域拟合平面的坡度，T为无人机着陆时的稳定度。
对于其他候选着陆区域，选择分数最大的区域为最佳着陆区域，从而为无人机的自主着陆提供着陆点位置信息。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (8)
1.一种基于多传感器的无人机着陆区域识别方法，其特征在于：
对相机拍摄的图像进行图像特征提取和语义分割，以确定图像中可降落区域的位置；
通过无人机携带的激光雷达确定可降落区域的点云数据，确定可降落区域的三维环境模型；
提取激光雷达点云数据的语义特征，对三维环境模型进行语义分割，得到可降落区域的三维语义信息；
通过对激光雷达点云数据的语义类别标签进行筛选，得到候选着陆区域；
利用候选着陆区域点云的几何特征作为约束项选择最合适的着陆点。
2.根据权利要求1所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：所述方法还包括在相机拍摄前对无人机搭载的相机、激光雷达和IMU进行标定，具体包括：
(1)对无人机搭载的相机、激光雷达和IMU进行时间同步；
将相机的触发模式设置为硬件触发模式，通过放置在无人机上单片机的I/O接口与相机进行连接，由单片机的MCU模块给相机发送触发脉冲信号进行采图；相机在触发后输出通过Strobe信号实现的开关信号，该信号为高电平有效；使用相机输出的Strobe信号对激光雷达和IMU传感器进行硬触发；
(2)对无人机搭载的相机、激光雷达和IMU进行空间同步；
使用标定工具箱对相机、激光雷达和IMU进行外参标定，得到不同传感器数据坐标系之间的坐标变换矩阵，将传感器得到的信息整合到同一个坐标系中。
3.根据权利要求1所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：所述方法通过深度学习方法对相机拍摄的图像进行图像特征提取和语义分割，以确定图像中可降落区域的位置，具体方法为：
构建基于图像的可降落区域识别模型进行图像特征提取和语义分割，该模型包括下采样模块、全局特征提取模块、特征融合模块和分类器模块；
所述下采样模块通过卷积网络对输入图像进行学习下采样；所述卷积网络采用三层卷积网络，其中，第一层是一个标准的卷积层，其它两个层则为深度可分离卷积层；与标准卷积不同，在深度可分离卷积层中一个卷积核只负责一个通道，一个通道也只被一个卷积核卷积；这三层网络使用的步长均为2，并加入批标准化层和ReLU激活层；标准卷积层的卷积核和深度可分离卷积层的核大小为3×3；
所述全局特征提取模块使用瓶颈残差模块来提取下采样模块输出图像的特征，在瓶颈残差模块上使用残差连接层来融合下采样模块各层的信息，并在瓶颈残差模块的末端增加金字塔池化模块；
所述特征融合模块将下采样模块得到的特征经过卷积层处理，并与全局特征提取模块得到的特征直接相加融合，得到特征张量；
所述分类器模块使用两个深度可分离卷积层和一个标准卷积层将特征融合得到的特征张量输出为具有语义类别标签的图片，实现对输入的图片信息进行分类，获得图像中每一部分对应的地形信息，进而初步地找到无人机可降落的区域。
4.根据权利要求3所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：所述方法通过无人机携带的激光雷达确定可降落区域的点云数据，并结合IMU得到的无人机的运动变化及无人机上GPS模块接收的数据信息确定可降落区域的三维环境模型，具体方法为：
步骤1、使用IMU得到无人机的运动变化对激光点云数据进行运动补偿，从而得到消除运动畸变的点云数据；
步骤2：提取每帧点云的平面特征，将上一帧点云的特征点转换到当前帧坐标系下，对当前帧点云中的面点在上一帧点云中找距离最近的三个点，三个点构成一个面块，以此完了当前帧和上一帧的特征匹配；随后，根据匹配到的面块，求出对应的点面距离，并基于点面距离构造点面距离约束，以此建立点云特征点匹配的最小二乘问题，优化求解激光帧间的相对位姿变化，输出无人机的运动状态，以实现激光里程计的计算；
步骤3：将无人机GPS模块接收的经度、纬度和高度数据通过坐标变换转换到无人机所在的局部坐标系下，然后利用GPS信息对仅基于激光雷达的运动估计提供绝对位置约束；
步骤4：在得到优化后的里程计后，依据点云帧的位姿关系对点云进行拼接，得到三维环境模型；
将点云空间进行体素划分，然后依据里程计信息建立局部体素地图，通过局部体素地图中的平面特征和全局体素地图进行配准，得到精确的位姿变化，消除前端里程计存在的累积误差，并且根据优化后的位姿对点云进行拼接，得到可降落区域三维环境模型。
5.根据权利要求4所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：所述方法通过深度学习方法提取激光雷达点云数据的语义特征，对三维环境模型进行语义分割，得到可降落区域的三维语义信息，具体方法为：
步骤S1：将输入点云中点的原始点坐标变换到以重心为原点的局部坐标系中，并将点云坐标进行归一化处理，以消除尺度影响；
步骤S2：在归一化后的点云上建立低分辨率体素网格，依照点云坐标将点云映射到体素网格中，并将落入同一体素网格中的所有点的特征的平均值作为该体素网格的特征；
步骤S3：通过建立网格坐标系并将体素网格中的非空部分的特征和其对应坐标另存为一个张量，称为稀疏张量，然后通过基于体素的三维稀疏卷积网络聚合非空体素网格与其对应相邻体素网格的特征；
稀疏卷积网络在卷积运算前根据稀疏张量显示的输入张量中的空向量与非空向量的位置，在进行卷积运算时只计算包含非空向量的卷积核；稀疏卷积网络的步长为1，卷积核尺寸为3×3，并加入BN层和Leaky ReLU激活层；
步骤S4：采用三线性插值算法将经过特征融合的体素网格特征转换为点云中每点的体素网格特征；
步骤S5：将点云中每个点的特征输入到权值共享的多层感知器来直接提取各个点的特征信息，并将提取的点特征与体素网格提取的特征融合，融合后的特征中既包含精细的单点特征，也包含点的局部近邻区域的特征，进而从融合后的特征中提取三维点云语义信息，三维点云语义信息包含每一个点的x,y,z坐标信息和每个点的语义类别标签信息。
6.根据权利要求5所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：所述通过对激光雷达点云数据的语义类别标签进行筛选，得到候选降落区域的具体方法为：
搜索带语义标签的点云地图中地面的地形，选择最适合着陆的地形所在区域作为候选着陆区域，并提取候选着陆区域对应的点云；根据无人机在不同地形环境中着陆的难易程度，适合着陆的地形的优先顺序为：铺装地面、硬质土地、草地与沙地。
7.根据权利要求6所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：所述在候选降落区域语义特征的基础上加入激光雷达点云数据的几何特征作为约束项，得到最终的着陆区域的具体方法为：
利用体素网格对候选着陆区域点云进行下采样，得到稀疏的候选着陆区域点云地图；
设定无人机最终的着陆区域为圆形，并将点云中的每个点设为可能的无人机候选着陆区域的中心点；对于每一个可能中心点，提取该点在原始点云中对应的近邻点云；采用几何方法来计算这部分点云的属性来估计候选着陆区域的地形，去除不满足降落条件的候选着陆区域，并对其他候选着陆计算分数，确定最佳着陆区域。
8.根据权利要求7所述的一种基于多传感器的无人机着陆区域识别方法，其特征在于：采用几何方法来计算这部分点云的属性来估计候选着陆区域的地形，去除不满足降落条件的候选着陆区域，并对其他候选着陆计算分数，确定最佳着陆区域的具体方法为：
(1)首先，统计候选着陆区域点云中点的数目，若点云数目小于设定阈值则这部分候选着陆区域不适合作为着陆区域；
(2)计算候选着陆区域点云中每点的z坐标值的标准差，若标准差大于设定阈值则候选着陆区域不适合作为着陆区域；
(3)确定候选着陆区域是否为水平面；采用RANSAC算法从点云中拟合平面，若无法拟合出平面或拟合出的平面坡度大于设定阈值，则候选着陆区域不适合作为着陆区域；
采用平面法线与z坐标轴的夹角来计算平面的坡度，即：
其中，vup＝(0，0，-1)为z坐标轴的向量，n为由RANSAC算法拟合得到的平面法线的向量，α为平面的坡度；
(4)通过定量计算为其他候选着陆区域计算一个分数，如下公式所示：
其中，σz为候选着陆区域中每点的z坐标值的标准差，α为着陆区域拟合平面的坡度，T为无人机着陆时的稳定度；
对于所有其他候选着陆区域，选择分数最大的区域为最佳着陆区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110864501.4A CN113359810B (zh) | 2021-07-29 | 2021-07-29 | 一种基于多传感器的无人机着陆区域识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110864501.4A CN113359810B (zh) | 2021-07-29 | 2021-07-29 | 一种基于多传感器的无人机着陆区域识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113359810A true CN113359810A (zh) | 2021-09-07 |
| CN113359810B CN113359810B (zh) | 2024-03-15 |
Family
ID=77540649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110864501.4A Active CN113359810B (zh) | 2021-07-29 | 2021-07-29 | 一种基于多传感器的无人机着陆区域识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113359810B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113607166A (zh) * | 2021-10-08 | 2021-11-05 | 广东省科学院智能制造研究所 | 基于多传感融合的自主移动机器人室内外定位方法及装置 |
| CN113759984A (zh) * | 2021-11-09 | 2021-12-07 | 山东天亚达新材料科技有限公司 | 一种竞速无人机的数据智能交互方法、装置及设备 |
| CN113821058A (zh) * | 2021-11-22 | 2021-12-21 | 西安羚控电子科技有限公司 | 一种固定翼无人机的迫降方法及系统 |
| CN113917934A (zh) * | 2021-11-22 | 2022-01-11 | 江苏科技大学 | 一种基于激光雷达的无人机精准降落方法 |
| CN113945217A (zh) * | 2021-12-15 | 2022-01-18 | 天津云圣智能科技有限责任公司 | 航线规划方法、装置、服务器及计算机可读存储介质 |
| CN114185364A (zh) * | 2021-12-06 | 2022-03-15 | 群周科技(上海)有限公司 | 一种基于激光雷达的无人机自主式辅助降落方法及系统 |
| CN114415202A (zh) * | 2022-03-28 | 2022-04-29 | 北京中科飞鸿科技股份有限公司 | 一种基于图像处理的激光侦查设备用追踪系统 |
| CN114638953A (zh) * | 2022-02-22 | 2022-06-17 | 深圳元戎启行科技有限公司 | 点云数据的分割方法、装置及计算机可读存储介质 |
| CN114910050A (zh) * | 2022-06-24 | 2022-08-16 | 四川腾盾科技有限公司 | 基于网格地图的无人机视觉定位方法 |
| CN114972763A (zh) * | 2022-07-28 | 2022-08-30 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
| CN115016545A (zh) * | 2022-08-05 | 2022-09-06 | 四川腾盾科技有限公司 | 无人机着陆的着陆点自主选择方法、设备及介质 |
| CN115167512A (zh) * | 2022-07-25 | 2022-10-11 | 亿航智能设备（广州）有限公司 | 一种地面坡度探测方法、设备及计算机可读存储介质 |
| CN115187959A (zh) * | 2022-07-14 | 2022-10-14 | 清华大学 | 一种基于双目视觉的飞行汽车山地着陆方法及系统 |
| CN115328205A (zh) * | 2022-09-14 | 2022-11-11 | 清华大学 | 一种基于三维目标检测的飞行汽车起飞着陆决策规划方法 |
| CN115356740A (zh) * | 2022-08-09 | 2022-11-18 | 群周科技(上海)有限公司 | 一种机载环境下的可降落区域降落定位方法 |
| CN116482711A (zh) * | 2023-06-21 | 2023-07-25 | 之江实验室 | 一种用于着陆区自主选择的局部静态环境感知方法及装置 |
| CN116630828A (zh) * | 2023-05-30 | 2023-08-22 | 中国公路工程咨询集团有限公司 | 基于地形环境适配的无人机遥感信息采集系统及方法 |
| CN116721118A (zh) * | 2023-08-11 | 2023-09-08 | 之江实验室 | 一种基于点云的飞行器安全降落点的选择方法及装置 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150170526A1 (en) * | 2013-12-13 | 2015-06-18 | Sikorsky Aircraft Corporation | Semantics based safe landing area detection for an unmanned vehicle |
| CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
| CN107291093A (zh) * | 2017-07-04 | 2017-10-24 | 西北工业大学 | 基于视觉slam的复杂环境下无人机自主降落区域选择方法 |
| CN107444665A (zh) * | 2017-07-24 | 2017-12-08 | 长春草莓科技有限公司 | 一种无人机自主降落方法 |
| WO2018027338A1 (en) * | 2016-08-06 | 2018-02-15 | SZ DJI Technology Co., Ltd. | Automatic terrain evaluation of landing surfaces, and associated systems and methods |
| CN108415032A (zh) * | 2018-03-05 | 2018-08-17 | 中山大学 | 一种基于深度学习与激光雷达的点云语义地图构建方法 |
| US20190147335A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Continuous Convolution and Fusion in Neural Networks |
| US20190196436A1 (en) * | 2017-12-21 | 2019-06-27 | X Development Llc | Robot interaction with objects based on semantic information associated with embedding spaces |
| US20190235083A1 (en) * | 2016-03-11 | 2019-08-01 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
| CN110108984A (zh) * | 2019-05-24 | 2019-08-09 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 电力巡线激光雷达系统多传感器的空间关系同步方法 |
| US20190248487A1 (en) * | 2018-02-09 | 2019-08-15 | Skydio, Inc. | Aerial vehicle smart landing |
| CN110262546A (zh) * | 2019-06-18 | 2019-09-20 | 武汉大学 | 一种隧道智能无人机巡检系统及方法 |
| CN111666921A (zh) * | 2020-06-30 | 2020-09-15 | 腾讯科技（深圳）有限公司 | 车辆控制方法、装置、计算机设备和计算机可读存储介质 |
| CN111824397A (zh) * | 2020-04-30 | 2020-10-27 | 中国飞机强度研究所 | 飞控-起落架控制-地形识别多系统融合控制系统 |
| CN112119428A (zh) * | 2019-09-23 | 2020-12-22 | 深圳市大疆创新科技有限公司 | 获取降落位置的方法、设备、无人机、系统及存储介质 |
| WO2021003587A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳市大疆创新科技有限公司 | 语义地图的构建方法、系统、可移动平台和存储介质 |
| CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
| CN113050664A (zh) * | 2021-03-24 | 2021-06-29 | 北京三快在线科技有限公司 | 一种无人机降落方法及装置 |
-
2021
- 2021-07-29 CN CN202110864501.4A patent/CN113359810B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150170526A1 (en) * | 2013-12-13 | 2015-06-18 | Sikorsky Aircraft Corporation | Semantics based safe landing area detection for an unmanned vehicle |
| US20190235083A1 (en) * | 2016-03-11 | 2019-08-01 | Kaarta, Inc. | Laser scanner with real-time, online ego-motion estimation |
| CN105892489A (zh) * | 2016-05-24 | 2016-08-24 | 国网山东省电力公司电力科学研究院 | 一种基于多传感器融合的自主避障无人机系统及控制方法 |
| WO2018027338A1 (en) * | 2016-08-06 | 2018-02-15 | SZ DJI Technology Co., Ltd. | Automatic terrain evaluation of landing surfaces, and associated systems and methods |
| CN107291093A (zh) * | 2017-07-04 | 2017-10-24 | 西北工业大学 | 基于视觉slam的复杂环境下无人机自主降落区域选择方法 |
| CN107444665A (zh) * | 2017-07-24 | 2017-12-08 | 长春草莓科技有限公司 | 一种无人机自主降落方法 |
| US20190147335A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Continuous Convolution and Fusion in Neural Networks |
| US20190196436A1 (en) * | 2017-12-21 | 2019-06-27 | X Development Llc | Robot interaction with objects based on semantic information associated with embedding spaces |
| US20190248487A1 (en) * | 2018-02-09 | 2019-08-15 | Skydio, Inc. | Aerial vehicle smart landing |
| CN108415032A (zh) * | 2018-03-05 | 2018-08-17 | 中山大学 | 一种基于深度学习与激光雷达的点云语义地图构建方法 |
| CN110108984A (zh) * | 2019-05-24 | 2019-08-09 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 电力巡线激光雷达系统多传感器的空间关系同步方法 |
| CN110262546A (zh) * | 2019-06-18 | 2019-09-20 | 武汉大学 | 一种隧道智能无人机巡检系统及方法 |
| WO2021003587A1 (zh) * | 2019-07-05 | 2021-01-14 | 深圳市大疆创新科技有限公司 | 语义地图的构建方法、系统、可移动平台和存储介质 |
| CN112119428A (zh) * | 2019-09-23 | 2020-12-22 | 深圳市大疆创新科技有限公司 | 获取降落位置的方法、设备、无人机、系统及存储介质 |
| CN111824397A (zh) * | 2020-04-30 | 2020-10-27 | 中国飞机强度研究所 | 飞控-起落架控制-地形识别多系统融合控制系统 |
| CN111666921A (zh) * | 2020-06-30 | 2020-09-15 | 腾讯科技（深圳）有限公司 | 车辆控制方法、装置、计算机设备和计算机可读存储介质 |
| CN112258600A (zh) * | 2020-10-19 | 2021-01-22 | 浙江大学 | 一种基于视觉与激光雷达的同时定位与地图构建方法 |
| CN113050664A (zh) * | 2021-03-24 | 2021-06-29 | 北京三快在线科技有限公司 | 一种无人机降落方法及装置 |
Non-Patent Citations (8)
| Title |
|---|
| RUDRA PK POUDEL等: "Fast-scnn: Fast semantic segmentation network", pages 1 - 9, Retrieved from the Internet <URL:https://arxiv.org/pdf/1902.04502.pdf> * |
| RUDRA PK POUDEL等: "Fast-scnn: Fast semantic segmentation network:Arxiv: fast scnn semantic segmentation", pages 1 - 9, Retrieved from the Internet <URL:https://arxiv.org/pdf/1902.04502.pdf> * |
| WEIWEI KONG等: "A Ground-Based Multi-Sensor System for Autonomous Landing of a Fixed Wing UAV", 2015 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS （ROBIO）, pages 1303 - 1310 * |
| 尚克军等: "基于图像语义分割的无人机自主着陆导航方法", 中国惯性技术学报, vol. 28, no. 5, pages 586 - 594 * |
| 张博文: "基于FCN的城市无人机图像语义分割", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, no. 07, pages 031 - 640 * |
| 程擎等: "无人机航拍图像语义分割研究综述", 计算机工程与应用, vol. 57, no. 19, pages 57 - 69 * |
| 邢闻等: "激光雷达无人飞行器自主着陆选址方法", 电子测量与仪器学报, vol. 34, no. 12, pages 1 - 11 * |
| 黄建宇;屈玉福;姜吉祥;: "无人飞行器自主降落区识别方法研究", 液晶与显示, vol. 33, no. 03, pages 238 - 244 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113607166A (zh) * | 2021-10-08 | 2021-11-05 | 广东省科学院智能制造研究所 | 基于多传感融合的自主移动机器人室内外定位方法及装置 |
| CN113607166B (zh) * | 2021-10-08 | 2022-01-07 | 广东省科学院智能制造研究所 | 基于多传感融合的自主移动机器人室内外定位方法及装置 |
| CN113759984B (zh) * | 2021-11-09 | 2022-02-08 | 山东天亚达新材料科技有限公司 | 一种竞速无人机的数据智能交互方法、装置及设备 |
| CN113759984A (zh) * | 2021-11-09 | 2021-12-07 | 山东天亚达新材料科技有限公司 | 一种竞速无人机的数据智能交互方法、装置及设备 |
| CN113917934A (zh) * | 2021-11-22 | 2022-01-11 | 江苏科技大学 | 一种基于激光雷达的无人机精准降落方法 |
| CN113821058A (zh) * | 2021-11-22 | 2021-12-21 | 西安羚控电子科技有限公司 | 一种固定翼无人机的迫降方法及系统 |
| CN113917934B (zh) * | 2021-11-22 | 2024-05-28 | 江苏科技大学 | 一种基于激光雷达的无人机精准降落方法 |
| CN114185364A (zh) * | 2021-12-06 | 2022-03-15 | 群周科技(上海)有限公司 | 一种基于激光雷达的无人机自主式辅助降落方法及系统 |
| CN114185364B (zh) * | 2021-12-06 | 2024-03-26 | 群周科技(上海)有限公司 | 一种基于激光雷达的无人机自主式辅助降落方法及系统 |
| CN113945217A (zh) * | 2021-12-15 | 2022-01-18 | 天津云圣智能科技有限责任公司 | 航线规划方法、装置、服务器及计算机可读存储介质 |
| CN113945217B (zh) * | 2021-12-15 | 2022-04-12 | 天津云圣智能科技有限责任公司 | 航线规划方法、装置、服务器及计算机可读存储介质 |
| CN114638953B (zh) * | 2022-02-22 | 2023-12-22 | 深圳元戎启行科技有限公司 | 点云数据的分割方法、装置及计算机可读存储介质 |
| CN114638953A (zh) * | 2022-02-22 | 2022-06-17 | 深圳元戎启行科技有限公司 | 点云数据的分割方法、装置及计算机可读存储介质 |
| CN114415202A (zh) * | 2022-03-28 | 2022-04-29 | 北京中科飞鸿科技股份有限公司 | 一种基于图像处理的激光侦查设备用追踪系统 |
| CN114910050A (zh) * | 2022-06-24 | 2022-08-16 | 四川腾盾科技有限公司 | 基于网格地图的无人机视觉定位方法 |
| CN115187959A (zh) * | 2022-07-14 | 2022-10-14 | 清华大学 | 一种基于双目视觉的飞行汽车山地着陆方法及系统 |
| CN115167512A (zh) * | 2022-07-25 | 2022-10-11 | 亿航智能设备（广州）有限公司 | 一种地面坡度探测方法、设备及计算机可读存储介质 |
| CN114972763A (zh) * | 2022-07-28 | 2022-08-30 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
| CN114972763B (zh) * | 2022-07-28 | 2022-11-04 | 香港中文大学(深圳)未来智联网络研究院 | 激光雷达点云分割方法、装置、设备及存储介质 |
| CN115016545A (zh) * | 2022-08-05 | 2022-09-06 | 四川腾盾科技有限公司 | 无人机着陆的着陆点自主选择方法、设备及介质 |
| CN115356740A (zh) * | 2022-08-09 | 2022-11-18 | 群周科技(上海)有限公司 | 一种机载环境下的可降落区域降落定位方法 |
| CN115328205A (zh) * | 2022-09-14 | 2022-11-11 | 清华大学 | 一种基于三维目标检测的飞行汽车起飞着陆决策规划方法 |
| CN116630828A (zh) * | 2023-05-30 | 2023-08-22 | 中国公路工程咨询集团有限公司 | 基于地形环境适配的无人机遥感信息采集系统及方法 |
| CN116630828B (zh) * | 2023-05-30 | 2023-11-24 | 中国公路工程咨询集团有限公司 | 基于地形环境适配的无人机遥感信息采集系统及方法 |
| CN116482711A (zh) * | 2023-06-21 | 2023-07-25 | 之江实验室 | 一种用于着陆区自主选择的局部静态环境感知方法及装置 |
| CN116721118A (zh) * | 2023-08-11 | 2023-09-08 | 之江实验室 | 一种基于点云的飞行器安全降落点的选择方法及装置 |
| CN116721118B (zh) * | 2023-08-11 | 2024-01-09 | 之江实验室 | 一种基于点云的飞行器安全降落点的选择方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113359810B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113359810B (zh) | 一种基于多传感器的无人机着陆区域识别方法 | |
| CN111626217B (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
| CN103822635B (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
| CN102426019B (zh) | 一种无人机景象匹配辅助导航方法及系统 | |
| CN102967305B (zh) | 基于大小回字标志物的多旋翼无人机位姿获取方法 | |
| CN111213155A (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
| CN109739254B (zh) | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 | |
| CN102190081B (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
| Bao et al. | Vision-based horizon extraction for micro air vehicle flight control | |
| CN102607532B (zh) | 一种利用飞控数据的低空影像快速匹配方法 | |
| CN114325634A (zh) | 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| CN108871409A (zh) | 一种故障检测方法和系统 | |
| CN111046756A (zh) | 高分辨率遥感影像目标尺度特征的卷积神经网络检测方法 | |
| CN113569313A (zh) | 基于激光雷达二次回波点云数据的铁路栅栏建模与识别方法 | |
| CN116719339A (zh) | 一种基于无人机的电力线路巡检控制方法及系统 | |
| CN116486290B (zh) | 一种无人机监测追踪方法、装置、电子设备及存储介质 | |
| CN108873931A (zh) | 一种基于主观与客观结合的无人机视觉防撞方法 | |
| CN117808689A (zh) | 基于毫米波雷达与摄像头融合的深度补全方法 | |
| CN114459467B (zh) | 一种未知救援环境中基于vi-slam的目标定位方法 | |
| Soleimani et al. | A disaster invariant feature for localization | |
| Lu et al. | Multi-information Based Safe Area Step Selection Algorithm for UAV's Emergency Forced Landing. | |
| CN114202701A (zh) | 一种基于物体语义的无人机视觉重定位方法 | |
| Serrano et al. | YOLO-Based Terrain Classification for UAV Safe Landing Zone Detection | |
| CN117611762B (zh) | 一种多层级地图构建方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |