CN115356740A - 一种机载环境下的可降落区域降落定位方法 - Google Patents
一种机载环境下的可降落区域降落定位方法 Download PDFInfo
- Publication number
- CN115356740A CN115356740A CN202210949115.XA CN202210949115A CN115356740A CN 115356740 A CN115356740 A CN 115356740A CN 202210949115 A CN202210949115 A CN 202210949115A CN 115356740 A CN115356740 A CN 115356740A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- landing
- data
- distortion
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000013135 deep learning Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000009432 framing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 abstract description 3
- 238000003379 elimination reaction Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 16
- 240000004050 Pentaglottis sempervirens Species 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000013139 quantization Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及机载雷达实时处理技术领域，具体是一种机载环境下的可降落区域降落定位方法，包括如下步骤：(1)通过激光雷达获取实时点云，进行点云数据的采集；(2)将采集的数据进行消除畸变处理；(3)把经过消除畸变后获得的有效数据做范围滤波处理并编码为前视图，将处理后的图像格式的点云作为深度学习网络的输入张量；(4)利用深度学习的方式将图像格式的点云检测出可降落区域。其优点表现在：将点云编码为前视图图像后可以大幅降低需处理的数据量，消除畸变、滤波等操作可以大幅降低后续可降落区域识别的难度，保证了实时性；基于图像网络进行优化，使之能够处理点云数据，保证了实时性。
Description
技术领域
本发明涉及机载雷达实时处理技术领域，具体地说，是一种机载环境下的可降落区域降落定位方法。
背景技术
激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对飞机、导弹等目标进行探测、跟踪和识别。它由激光发射机、光学接收机、转台和信息处理系统等组成，激光器将电脉冲变成光脉冲发射出去，光接收机再把从目标反射回来的光脉冲还原成电脉冲，送到显示器。
现有的机载环境下的可降落区域降落定位方法分为基于深度学习的、基于非深度学习的两类，基于深度学习的方法对算力需求高、机载条件下难于同时满足实时性和低功耗要求，基于非深度学习的方法检测性能不佳，难以保障直升机盲降安全需要。其中基于深度学习的方法难以同时满足实时性和低功耗的原因包括：①数据量大，与自动驾驶使用的激光雷达相比，机载雷达的单帧数据量是其数倍至数十倍；②深度学习方法倾向于采用端到端网络，所有处理都使用深度学习相关方法，算力开销大；③基于点云进行检测的网络结构，由于点云的数量多，且相比于图像增加了一个数据维度，算力开销会更大。
中国专利申请：CN202010278168.4公开了一种基于激光雷达的无人机自主识别着陆选址方法，包括如下步骤，步骤1：预先在基准图上选好着陆候选区域，并通过机载可见光相机拍摄的实时图像与基准图像匹配；步骤2：机载激光雷达在200米高度，根据高度和视场角推算出选址搜索范围，根据高度和激光雷达距离误差参数，计算出距离误差，还需要识别地面坡度识别结果，进行选址，确定精确的安全降落区域；步骤3：机载激光雷达在100米高度，根据高度和视场角推算出选址搜索范围；根据高度和激光雷达距离误差参数，可以计算出距离误差，确保有效检测地面超过0.1m的障碍物。具有精度高，成本小，适应性强等特点。该方法较本发明存在以下缺陷：第一使用的传感器更多，该方法使用了可见光传感器与激光雷达，可见光传感器负责实时匹配着陆候选区域并解算飞机位姿，激光雷达传感器负责计算飞机与着陆候选区域的距离并计算地面平整度，本发明只使用了激光雷达，确定着陆候选区域、计算相对距离、计算地面平整度等工作，都依靠激光雷达数据完成；
第二，智能化程度较低，该方法需要人工预先确定着陆候选区域，然后在指定的着陆候选区域内，搜索最适合降落的区域，这可能会使得最终确定的着陆区域不是全局最优的，而是着陆候选区域内的局部最优的，本发明不需人工干预或指定着陆候选区域，算法会判断飞机经过的每片区域是否适合着陆，并从中找出全局最优的着陆区域。
中国专利申请：202111512161.5公开了一种基于直升机机载激光雷达的地面目标语义分割方法，涉及直升机机载激光雷达实时处理技术领域，包括以下步骤：通过激光雷达获取实时点云，进行点云数据的采集；将采集的点云数据进入降采样模块，保留点云特征的同时减少点云数据量，得到有效数据；把经过降采样后获得的有效数据经过预处理变成深度学习网络的输入张量；利用深度学习网络的方式将点云分为各个物体的点云簇；通过KNN推测原点云每一个点的分类情况，输出点云分割结果。其优点在于，可以同时满足实时性和低功耗要求，检测性能较佳，保障了直升机飞行的安全需要。但是该方法较本发明存在以下缺陷：第一，该方法使用的网络结构为骨干网络为MobileNet V2，为扩大感受野采用了ASPP结构，属于典型的卷积神经网络结构，本专利的网络基本模块是transformer，基本模块不同，由于功能本身的特点适应各式地形地貌需要一个很大的丰富训练集，transformer对大数据量的适配能力更好；其次区别于CNN通过级联学习到不同尺度的局部特征，transformer学到的是注意力机制学习到特征的彼此之间的关系，transfromer本身的实现方式也更适应需要全局信息的可降落区域检测任务，具体地：卷积神经网络结构(CNN)很多模型适用于监督性学习，卷积神经网络结构(CNN)对海量数据的适配能力没有想象中的要好，Transformer对大数据的适配能力很好，可以明显地看到随着数据量的增加，模型的表现越来越好，而在各个不同的场景下找可降落区域是需要很多不同场景的样本的，于大数据的适配能力transformer比卷积神经网络结构(CNN)更好；CNN可以通过级联的关系学习到不同尺度(scale)上的样板(template)，Transformer学到的更多是注意力机制(attention)学到的特征(feature)彼此之间的相互关系，普适性更好，不完全依赖于数据本身；关注的不仅仅是局部(local)信息，有一个从局部(local)到全局(global)这样的一个扩散的机制去寻找表达，而transformer的表达方式更适应于可降落区域这样的需要全局判断的表达而非一定尺度上的特征，要满足不同地形地貌场景寻找可降落区域的泛化应当是transformer结构更适合。
第二，对激光点云的数据组织形式：该方法是采用鸟瞰图，本发明是采用前视图，鸟瞰图是对点云的高度方向的信息进行压缩，前视图是对点云的前向信息进行压缩，在鸟瞰图下，细高的柱状物如路灯杆等会被表示成横截面大小的目标显著性更低，而且鸟瞰图不适于地面不平整或斜坡的情况，具体地：该专利采样的激光点云压缩方法，不利于对线缆、线塔等柱状目标的探测，该方法采用了鸟瞰图的方式，本申请采用了前视图的方式，虽然二者都是将三维数据压缩成二维数据的方法，都能起到压缩数据量、提高处理速度的效果，但鸟瞰图是对场景的高度方向的信息进行压缩，前视图是对场景的景深方向的信息进行压缩，细高的柱状物如路灯杆等目标，在鸟瞰图下会被表示成横剖面大小的目标，而在前视图下会被表示成纵剖面大小的目标，由于电线杆等细高柱状物的横剖面远小于纵剖面，此类目标在鸟瞰图下的显著性远远低于前视图，导致电线杆等目标在鸟瞰图下的检测难度远远大于前视图，而电线杆、高压线等属于严重影响飞机飞行安全的目标，因此前视图比鸟瞰图更适合机载条件。
第三，该方法没有考虑到直升机飞行速度对点云数据采集质量的影响，直升机正常飞行时速可以达到250公里/小时，折合约70米/秒，这种速度会造成激光雷达点云数据的严重畸变，为正确测量着陆地点的地形平整度和坡度信息，本发明加入了对激光点云数据的运动畸变矫正环节。
考虑到此，发明人总结多年工作经验提出一种面向低功耗和实时应用的、主要使用深度学习的、基于机载激光雷达的降落区域检测方法。关于本发明一种机载环境下的可降落区域降落定位方法目前还未见报道。
发明内容
本发明的目的是针对现有技术的不足，提供一种机载环境下的可降落区域降落定位方法。
为实现上述目的，本发明采取的技术方案是：
第一方面，本发明提供了一种机载环境下的可降落区域降落定位方法，包括如下步骤：
(1)激光雷达获取实时点云，进行点云数据的采集；
(2)对步骤(1)获得的点云数据消除畸变处理；
(3)对步骤(2)中消除畸变处理后获得的数据进行滤波处理，编码成为前视图，将处理后的图像格式的点云作为深度学习网络的输入张量，相较于三维数据的处理方式增强了时效性，降低了算力依赖；
(4)利用深度学习网络的方式从图像格式的点云数据中检测出可降落区域。
优选地，步骤(1)为：激光雷达获取实时点云，雷达发送udp包，server端收包解包舍去坏点进行坐标系转换，完成点云数据的采集，所述坏点包括距离或者反射强度不合理的点和无效点。
优选地，步骤(2)中所述消除畸变处理方法是：根据雷达组帧方式和机体运动模型，将点云分为不同的线和块做运动补偿，所述将点云分为不同的线和块做运动补偿具体方法为：先对点云数据和机载惯导数据进行时间对齐，将同一帧中不同时刻产生的点云关联至不同的惯导数据，关联至同一惯导数据的点云，使用匀加速直线运动模型、匀速圆周转动模型进行插值，达到运动补偿的目的，关联至不同惯导数据的点云，根据机载惯导数据确定他们之间的平移和旋转，使用欧式变换进行运动补偿。
优选地，步骤(2)为：对步骤(1)获得的点云数按照原理：把一帧激光的每个激光点坐标变换到不同时刻的里程计上，对点云数据消除畸变处理。
优选地，步骤(3)中所述编码成为前视图是指：将俯仰和方位角度自由度平均分成若干个角度栅格，在每个角度栅格中，求出一个统计点来代替这个角度栅格内所有的点，将统计点信息放在对应的栅格内。
优选地，所述统计点是：栅格内所有点的三维平均值的点。
优选地，所述三维放置方法为：步骤(3)中一般可以使用Range View(前视图)的方式把三维点云信息投影在二维平面上，这里使用了前视图的方式(获得一个训练和推理的时候图像深度学习网络的输入二维特征图，投影过程减少了数据维度和数据量，相较于三维数据的处理方式增强了时效性)。
优选地，步骤(4)为：利用深度学习网络的方式将前视图进行检测，先检测出地面区域，再根据平整度和坡度进行判别，判别是否适于降落。
参考图二和图三，图二是说明encoder block(编码器单元)的网络结构，图三是说明整个网络的结构。
如图二所示，编码器单元的网络结构：
输入张量a经过层归一化(LN)，混合头注意力结构(muti-head attention),随机丢弃(dropout)后得到张量b，张量ab做位加(elt_add)得到张量c,张量c做层归一化后经过一个多层感知器(mlp block)，再做一次随机丢弃(dropout)就完成整个encoder的结构。
如图三所示，整体网络的结构：
用步骤(3)得到的前视图三通道张量特征图，首先经过一个卷积层，然后进行高度和宽度方向的展平处理。紧接着合并拼接(concat)一个类别词元分析器(class token)，再加上位置嵌入(Position Embedding)的相加操作，经过随机丢弃(Dropout)之后输入20个堆叠的编码器单元(Encoder Block)。编码器(Encoder)输出经过层归一化(LN)得到的输出即与输入时是相同的。然后提取第一个类别词元分析器(class token)对应的输出，切片之后将其输入多层感知器网络头网络(MLP Head)中，得到前视图检测结果是可降落区的包围框(boungdingboxs)，在经过k最近邻分类法(KNN)/随机条件场(CRF)处理后还原到三维点云空间中。
优选地，步骤(4)包括：借助GPS对检测结果进行验证，方法为：网络定位的结果是可降落区的位置，根据雷达坐标系的定义和GPS信息推测出的飞机位姿，可以求出雷达坐标系到北偏东坐标系的转换矩阵，原始点云坐标向量右乘这个矩阵，可以求到北偏东坐标系下这个可降落区域的位置，根据北偏东坐标系下这个区域的位置可以求出坡度和水平方向投影大小，进一步衡量可通行区域的可靠程度。量化：考虑到移动端使用需要尽量减少计算量，我们尽量使用合适的量化因子将小数映射在一个自然数上，损失低位精度，但是大幅提高网络单帧推理速度。
举例：
设激光雷达方位角和俯仰角均为30度，前视特征图尺寸为32*32，前视图通道数为3，前视图的角度量化步长为30/32度、距离量化步长为2.5米，点p的极坐标为(r,α,β)、直角坐标为(x,y,z)，其中r表示距离、α表示方位角、β表示俯仰角，则点p在前视特征图的坐标为(α*32/30,β*32/30)，该坐标下的坐标值为(x/2.5,y/2.5,z/2.5)。如果在一帧点云中，点p1、p2、p3在前视特征图的坐标相同，则该前视图中该坐标下的坐标值为(xmean/2.5,ymean/2.5,zmean/2.5)，其中xmean＝(p1.x+p2.x+p3.x)/3，ymean、zmean的定义类似。
这里做的可降落区域若精度要求有一米，则我们可以设置量化因子为1m，举例雷达方位角自由度为30度，俯仰角自由度为30度，我们把两个角度分成32*32的角度栅格，则我们在雷达方向角的0～30/32度角，雷达俯仰角的0～30/32度角的栅格内，找到所有的点举例有三个点p1,p2,p3,则我们特征图上的width＝＝0，height＝＝0的三个通道内，分别是：
floor((p1.x+p2.x+p3.x)/3),floor((p1.y+p2.y+p3.y)/3),floor((p1.z+p2.z+p3.z)/3)。
第二方面，本发明提供了一种机载环境下的可降落区域降落定位装置，包括处理器、存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的实现机载环境下的可降落区域降落定位的方法。
术语
点云
是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”(Point Cloud)。根据激光测量原理得到的点云，包括三维坐标(XYZ)和激光反射强度(Intensity)，强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。根据摄影测量原理得到的点云，包括三维坐标(XYZ)和颜色信息(RGB)。
畸变
激光帧产生畸变的根源：每个激光点都具有不同的基准位姿。
产生的原因：
激光雷达每一帧完整的数据不是瞬时产生的，而是按一定的顺序逐点产生的，如果激光雷达产生一帧点云的时间，相比于激光雷达所在载具的运动速度是不可忽略的，则需要对激光雷达点云进行畸变消除处理。例如，直升机正常工况下的时速可以达到250公里/小时，折合约70米/秒，如果激光雷达的数据刷新频率为1赫兹，则该帧数据中首点与尾点间由于飞机运动导致的位移差为70米，数据会产生严重的运动畸变，影响地面平整度和坡度计算的准确性。
去除畸变原理：把一帧激光的每个激光点坐标变换到不同时刻的机器人里程计上。里程计辅助方法包括：IMU、轮式里程计。
1)IMU
直接测量获得角速度和线速度，但对于机器人位移和角度需要积分
更新速度高1khz-8khz
具有较高的角速度测量精度，但线加速度精度差
2)轮式里程计
更新速度高100-200Hz
(一般机器人轮式里程计200hz，即可认为满足一定的要求，200hz一帧5ms，1.57rad/s下，误差仅为0.45度，可认为机器人没有运动。)
滤波
是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施，滤波分为经典滤波和现代滤波。
udp包
User Datagram Protocol，用户数据包协议。
坏点
NaN(非数，Not a Number)点和无效点。
Encoder block
编码器结构。
Multi-Head attention机制
混合头注意力机制。
Input feature
特征图输入。
layer Norm
层标准化。
Dropout/DropPath
上下文随机丢弃。
Dropout
全局随机丢弃。
GELU(Gaussian Error Linerar Unit)
GELUs其实是dropout、zoneout、Relus的综合，GELUs对于输入乘以一个0,1组成的mask，而该mask的生成则是依概率随机的依赖于输入。假设输入为X,mask为m，则m服从一个伯努利分布(Φ(x)\Phi(x)Φ(x)，Φ(x)＝P(X<＝x)，X服从标准正太分布\Phi(x)＝P(X<＝x)，X服从标准正态分布Φ(x)＝P(X<＝x)，X服从标准正态分布)，这么选择是因为神经元的输入趋向于正态分布，这么设定使得当输入x减小的时候，输入会有一个更高的概率被dropout掉，这样的激活变换就会随机依赖于输入了。
数学表达如下：
GELU(x)＝xP(X<＝x)＝xΦ(x)GELU(x)＝xP(X<＝x)＝x\Phi(x)
GELU(x)＝xP(X<＝x)＝xΦ(x)
这里Φ(x)\Phi(x)Φ(x)是正态分布的概率函数，可以简单采用正态分布N(0，1)\N(0，1)N(0，1)，也可以使用参数化的正态分布N(μ，σ)\N(\mu,\sigma)N(μ，σ)，然后通过训练得到μ，σ\mu，\sigmaμ，σ。
对于假设为标准正态分布的GELU(x)GELU(x)GELU(x)，提供了近似计算的数学公式，如下：
Patch Embedding
块编码。
Position Embedding
位置编码。
CRF
随机条件场，Conditional Random Field。
Loss
损失函数。
“+”：
element_wise
元素位加。
Header
头部网络。
dropout和cov2d
(卷积)串行的结构。
KNN
后处理：(K-NearestNeighbor，K最邻近分类算法)。
本发明优点在于：
1、本发明针对现有技术的缺陷，提出了一种面向低功耗和实时应用的、主要使用深度学习的、基于机载激光雷达的降落区域检测方法。通过做对获取的点云数据进行映射，然后对组帧清除畸变处理，根据处理后的数据做范围滤波，将点云数据编码为前视图，输入深度学习网络，进一步分离出地面可降落区域(可降落区域、非降落区域、建筑物、杆状物等)。其中，将点云编码为前视图图像后可以大幅降低需处理的数据量，消除畸变、滤波等操作可以大幅降低后续可降落区域识别的难度，在计算资源受限情况下，可以使用非深度学习方法处理，保证了实时性；图像的难分辨程度需要使用基于深度学习方法；在计算济源受限的情况下，深度学习网络不宜使用计算量过大的点云网络，这里基于图像网络进行优化，使之能够处理点云数据，保证了实时性。
2、本发明在先前研究的基础上进一步优化方案，深度学习的网络基础结构主要使用transformer类型网络结构的方式提取特征，可以理解为这个神经网络是大脑结构更能满足深层次的语义级别的泛化，网络泛化能力更好，某种程度上可以解决感受野限制问题，适合完成更复杂难度更高的深层任务。而之前的网络结构是视网膜和视神经的结构比较敏感于像素级特征。而且本发明的网络输入端加入了量化，网络量化可以通过降低数据位数来加速网络推理速度增加时效性，更适合移动端场景的时效性限制。详细解释为：
第一点，先前的研究是对激光点云的数据组织形式是鸟瞰图，本发明对激光点云的数据组织形式是前视图。鸟瞰图与前视图均是将三维数据压缩成二维数据的方法，在直升机机体坐标系下，鸟瞰图是在直升机的高度方向对点云进行维度压缩，前视图是在直升机的前进方向对点云进行维度压缩。由于对点云在高度方向进行了压缩，柱状物如高压线塔等，在鸟瞰图中的目标显著性被大大削弱，除此之外，鸟瞰图不适于地面不平整的情况下。本发明应用于可降落区域定位与检测，柱状物如高压线塔等对飞行安全造成严重影响，并且由于直升机对着陆区域的坡角有着严格的限制，鸟瞰图的数据组织形式不利于对着陆区域坡角的精确估计，因此本发明改用前视图对点云数据进行维度压缩。
第二点，先前的研究没有考虑到直升机飞行速度对点云数据采集质量的影响。直升机时速可达到250公里/小时以上，折合约70米/秒，即1秒内采集的点云数据中，首点与尾点在飞机飞行方向上的投影点之间的距离为70米，点云数据存在严重的变形与失真，如不进行运动补偿和运动畸变消除，会给基于激光点云的目标检测与可降落区域定位带来严重影响。
第三点，先前的研究与本发明使用的基本网络结构不同。先前的研究是使用的骨干网络为MobileNet V2，为扩大感受野采用了ASPP结构，属于典型的卷积神经网络(CNN)结构。本发明的深度学习的网络基础结构主要使用transformer类型网络结构的方式提取特征，由于功能本身的特点适应各式地形地貌需要一个很大的丰富训练集，transformer对大数据量的适配能力更好；其次区别于卷积神经网络(CNN)通过级联学习到不同尺度的局部特征，transformer学到的是注意力机制学习到特征的彼此之间的关系，transfromer本身的实现方式也更适应需要全局信息的可降落区域检测任务。
第四点，本发明进行了网络量化可以通过降低数据位数来加速网络推理速度增加时效性。
可见，本发明在之前研究的基础上更加深入研究得到优化后的方案较之前的研究方法增加了时效性、适用场景以及降落定位精度更加准确，相较于现有技术有了实质性的突破。
附图说明
附图1是本发明的一种机载环境下的可降落区域降落定位方法的算法模块图。
附图2是图3中所述的encoder block(编码模块)图。
附图3是图1中算法模块中所述的深度学习网络结构图。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明记载的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
实施例1
请参照附图1-3，附图1是本发明的一种机载环境下的可降落区域降落定位方法的算法模块图。附图2是图3中所述的encoder block(编码模块)图。附图3是图1中算法模块中所述的深度学习网络结构图。
本实施例提供了一种机载环境下的可降落区域降落定位方法，包括如下步骤：
(1)激光雷达获取实时点云，雷达发送udp包，server端收包解包舍去坏点进行坐标系转换，完成点云数据的采集，所述坏点包括距离或者反射强度不合理的点和无效点；
(2)对步骤(1)获得的点云数据消除畸变处理，所述消除畸变处理方法是：根据雷达组帧方式和机体运动模型，消除畸变，解决机体本身运动带来的损失点云数据一致性问题；具体为：将点云分为不同的线和块做运动补偿(所述将点云分为不同的线和块做运动补偿具体方法为：先对点云数据和机载惯导数据进行时间对齐，将同一帧中不同时刻产生的点云关联至不同的惯导数据，关联至同一惯导数据的点云，使用匀加速直线运动模型、匀速圆周转动模型进行插值，达到运动补偿的目的，关联至不同惯导数据的点云，根据机载惯导数据确定他们之间的平移和旋转，使用欧式变换进行运动补偿)，对步骤(1)获得的点云数按照原理：把一帧激光的每个激光点坐标变换到不同时刻的机器人里程计上，对点云数据消除畸变处理；里程计辅助方法包括：IMU、轮式里程计，其中：1)IMU：直接测量获得角速度和线速度，但对于机器人位移和角度需要积分，更新速度高1khz-8khz，具有较高的角速度测量精度，但线加速度精度差，2)轮式里程计：更新速度高100-200Hz，(一般机器人轮式里程计200hz，即可认为满足一定的要求，200hz一帧5ms，1.57rad/s下，误差仅为0.45度，可认为机器人没有运动)；
(3)对步骤(2)中消除畸变处理后获得的数据进行滤波处理，编码成为前视图，将处理后的图像作为深度学习网络的输入张量，相较于三维数据的处理方式增强了时效性，降低了算力依赖；所述编码成为前视图是指：将俯仰和方位角度自由度平均分成若干个角度栅格，在每个角度栅格中，求出一个统计点来代替这个角度栅格内所有的点，将这个统计点的三维按照是第几个栅格放在栅格内部，所述三维放置方法为：x放0通道，y放1通道，z放2通道，步骤(3)中一般可以使用Range View(前视图)或者Bird Eys’s View(鸟瞰图)的方式把三维点云信息投影在二维平面上，这里使用了前视图的方式(获得一个训练和推理的时候图像深度学习网络的输入二维特征图，投影过程减少了数据维度和数据量，相较于三维数据的处理方式增强了时效性)；所述统计点是：栅格内所有点的三维平均值的点；
(4)利用深度学习网络的方式将前视图进行检测，先检测出地面区域，再根据平整度和坡度进行判别，判别是否适于降落；具体地：参考图二和图三，图二是说明encoderblock(编码器单元)的网络结构，图三是说明整个网络的结构。
如图二所示，编码器单元的网络结构：
输入张量a经过层归一化(LN)，混合头注意力结构(muti-head attention),随机丢弃(dropout)后得到张量b，张量ab做位加(elt_add)得到张量c,张量c做层归一化后经过一个多层感知器(mlp block)，再做一次随机丢弃(dropout)就完成整个encoder的结构。
如图三所示，整体网络的结构：
用步骤(3)得到的前视图三通道张量特征图，首先经过一个卷积层，然后进行高度和宽度方向的展平处理。紧接着合并拼接(concat)一个类别词元分析器(class token)，再加上位置嵌入(Position Embedding)的相加操作，经过随机丢弃(Dropout)之后输入20个堆叠的编码器单元(Encoder Block)。编码器(Encoder)输出经过层归一化(LN)得到的输出即与输入时是相同的。然后提取第一个类别词元分析器(class token)对应的输出，切片之后将其输入多层感知器网络头网络(MLP Head)中，得到前视图检测结果是可降落区的包围框(boungdingboxs)，在经过k最近邻分类法(KNN)/随机条件场(CRF)处理后还原到三维点云空间中；步骤(4)还包括：借助GPS对检测结果进行验证，方法为：网络定位的结果是可降落区的位置，根据雷达坐标系的定义和GPS信息推测出的飞机位姿，可以求出雷达坐标系到北偏东坐标系的转换矩阵，原始点云坐标向量右乘这个矩阵，可以求到北偏东坐标系下这个可降落区域的位置，根据北偏东坐标系下这个区域的位置可以求出坡度和水平方向投影大小，进一步衡量可通行区域的可靠程度。量化：考虑到移动端使用需要尽量减少计算量，我们尽量使用合适的量化因子将小数映射在一个自然数上，损失低位精度，但是大幅提高网络单帧推理速度。
举例：
设激光雷达方位角和俯仰角均为30度，前视特征图尺寸为32*32，前视图通道数为3，前视图的角度量化步长为30/32度、距离量化步长为2.5米，点p的极坐标为(r,α,β)、直角坐标为(x,y,z)，其中r表示距离、α表示方位角、β表示俯仰角，则点p在前视特征图的坐标为(α*32/30,β*32/30)，该坐标下的坐标值为(x/2.5,y/2.5,z/2.5)。如果在一帧点云中，点p1、p2、p3在前视特征图的坐标相同，则该前视图中该坐标下的坐标值为(xmean/2.5,ymean/2.5,zmean/2.5)，其中xmean＝(p1.x+p2.x+p3.x)/3，ymean、zmean的定义类似。
这里做的可降落区域若精度要求有一米，则我们可以设置量化因子为1m，举例雷达方位角自由度为30度，俯仰角自由度为30度，我们把两个角度分成32*32的角度栅格，则我们在雷达方向角的0～30/32度角，雷达俯仰角的0～30/32度角的栅格内，找到所有的点举例有三个点p1,p2,p3,则我们特征图上的width＝＝0，height＝＝0的三个通道内，分别是：
floor((p1.x+p2.x+p3.x)/3),floor((p1.y+p2.y+p3.y)/3),floor((p1.z+p2.z+p3.z)/3)。
本实施例中将点云编码为前视图图像后可以大幅降低需处理的数据量，消除畸变、滤波等操作可以大幅降低后续可降落区域识别的难度，在计算资源受限情况下，可以使用非深度学习方法处理，保证了实时性；图像的难分辨程度需要使用基于深度学习方法；在计算济源受限的情况下，深度学习网络不宜使用计算量过大的点云网络，这里基于图像网络进行优化，使之能够处理点云数据，保证了实时性。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。
Claims (9)
1.一种机载环境下的可降落区域降落定位方法，其特征在于，包括如下步骤：
(1)激光雷达获取实时点云，进行点云数据的采集；
(2)对步骤(1)获得的点云数据消除畸变处理；
(3)对步骤(2)中消除畸变处理后获得的数据进行滤波处理，编码成为前视图，将处理后的图像格式的点云作为深度学习网络的输入张量；
(4)利用深度学习网络的方式将图像检测出可降落区域。
2.根据权利要求1所述的方法，其特征在于，步骤(1)为：激光雷达获取实时点云，雷达发送udp包，server端收包解包舍去坏点进行坐标系转换，完成点云数据的采集。
3.根据权利要求1所述的方法，其特征在于，步骤(2)中所述消除畸变处理方法是：根据雷达组帧方式和机体运动模型，将点云分为不同的线和块做运动补偿。
4.根据权利要求3所述的法，其特征在于，步骤(2)为：对步骤(1)获得的点云数按照原理：把一帧激光的每个激光点坐标变换到不同时刻的里程计上，对点云数据消除畸变处理。
5.根据权利要求1所述的方法，其特征在于，步骤(3)中所述编码成为前视图是指：将俯仰和方位角度视场角平均分成若干个角度栅格，在每个角度栅格中，求出一个统计点来代替这个角度栅格内所有的点，将这个统计点的信息放进对应的栅格内。
6.根据权利要求1所述的方法，其特征在于，步骤(4)为：利用深度学习网络的方式对具有前视图形式的点云数据进行检测，先检测出地面区域，再根据平整度和坡度进行判别，判别是否适于降落。
7.根据权利要求1所述的方法，其特征在于，步骤(4)为：用步骤(3)得到的前视图三通道张量特征图，先经过一个卷积层，然后进行高度和宽度方向的展平处理，再合并一个类别词元分析器，并加上位置编码的相加操作，经过全局随机丢弃之后输入20个堆叠的编码器，编码器输出经过层标准化得到的输出即与输入时是相同的，然后提取第一个类别词元分析器对应的输出，切片之后将其输入多层感知器头部网络中，得到前视图检测结果是可降落区的边界框，在经过处理后还原到三维点云空间中。
8.根据权利要求1所述的方法，其特征在于，步骤(4)包括：借助GPS对检测结果进行验证，方法为：根据雷达坐标系的定义和GPS信息推测出的飞机位姿，可以求出雷达坐标系到东北天坐标系的转换矩阵，原始点云进行坐标变换后，可以求到东北天坐标系下可降落区域的位置，根据东北天坐标系下可降落区域的位置求出坡度和水平方向投影大小，进一步衡量可通行区域的可靠程度。
9.一种机载环境下的可降落区域降落定位装置，其特征在于，包括处理器、存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现权利要求1-8任一所述的实现机载环境下的可降落区域降落定位的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210949115.XA CN115356740A (zh) | 2022-08-09 | 2022-08-09 | 一种机载环境下的可降落区域降落定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210949115.XA CN115356740A (zh) | 2022-08-09 | 2022-08-09 | 一种机载环境下的可降落区域降落定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115356740A true CN115356740A (zh) | 2022-11-18 |
Family
ID=84033070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210949115.XA Pending CN115356740A (zh) | 2022-08-09 | 2022-08-09 | 一种机载环境下的可降落区域降落定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115356740A (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111929699A (zh) * | 2020-07-21 | 2020-11-13 | 北京建筑大学 | 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统 |
| CN112634451A (zh) * | 2021-01-11 | 2021-04-09 | 福州大学 | 一种融合多传感器的室外大场景三维建图方法 |
| CN112923933A (zh) * | 2019-12-06 | 2021-06-08 | 北理慧动（常熟）车辆科技有限公司 | 一种激光雷达slam算法与惯导融合定位的方法 |
| CN113191285A (zh) * | 2021-05-08 | 2021-07-30 | 山东大学 | 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统 |
| CN113359810A (zh) * | 2021-07-29 | 2021-09-07 | 东北大学 | 一种基于多传感器的无人机着陆区域识别方法 |
| CN113466890A (zh) * | 2021-05-28 | 2021-10-01 | 中国科学院计算技术研究所 | 基于关键特征提取的轻量化激光雷达惯性组合定位方法和系统 |
| CN113780149A (zh) * | 2021-09-07 | 2021-12-10 | 北京航空航天大学 | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 |
| CN114120363A (zh) * | 2021-11-23 | 2022-03-01 | 上海市刑事科学技术研究院 | 基于背景及姿态归一化的行人跨镜重识别方法及系统 |
| CN114140470A (zh) * | 2021-12-07 | 2022-03-04 | 群周科技(上海)有限公司 | 一种基于直升机机载激光雷达的地物语义分割方法 |
| CN114140471A (zh) * | 2021-12-07 | 2022-03-04 | 群周科技(上海)有限公司 | 一种基于直升机机载激光雷达的地面目标语义分割方法 |
| CN114266780A (zh) * | 2022-02-28 | 2022-04-01 | 深圳市其域创新科技有限公司 | 一种建筑物单体化实例分割方法及装置 |
| CN114419147A (zh) * | 2021-11-16 | 2022-04-29 | 新兴际华集团有限公司 | 一种救援机器人智能化远程人机交互控制方法及系统 |
| CN114612348A (zh) * | 2022-05-11 | 2022-06-10 | 季华实验室 | 激光点云运动畸变校正方法、装置、电子设备及存储介质 |
| CN114620218A (zh) * | 2022-03-30 | 2022-06-14 | 陕西科技大学 | 一种基于改进YOLOv5算法的无人机降落方法 |
| CN114719848A (zh) * | 2022-01-25 | 2022-07-08 | 西安微电子技术研究所 | 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法 |
| CN114782640A (zh) * | 2022-04-01 | 2022-07-22 | 东南大学 | 基于四足机器人的强度信息匹配快速激光slam算法 |
-
2022
- 2022-08-09 CN CN202210949115.XA patent/CN115356740A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112923933A (zh) * | 2019-12-06 | 2021-06-08 | 北理慧动（常熟）车辆科技有限公司 | 一种激光雷达slam算法与惯导融合定位的方法 |
| CN111929699A (zh) * | 2020-07-21 | 2020-11-13 | 北京建筑大学 | 一种顾及动态障碍物的激光雷达惯导里程计与建图方法及系统 |
| CN112634451A (zh) * | 2021-01-11 | 2021-04-09 | 福州大学 | 一种融合多传感器的室外大场景三维建图方法 |
| CN113191285A (zh) * | 2021-05-08 | 2021-07-30 | 山东大学 | 基于卷积神经网络和Transformer的河湖遥感图像分割方法及系统 |
| CN113466890A (zh) * | 2021-05-28 | 2021-10-01 | 中国科学院计算技术研究所 | 基于关键特征提取的轻量化激光雷达惯性组合定位方法和系统 |
| CN113359810A (zh) * | 2021-07-29 | 2021-09-07 | 东北大学 | 一种基于多传感器的无人机着陆区域识别方法 |
| CN113780149A (zh) * | 2021-09-07 | 2021-12-10 | 北京航空航天大学 | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 |
| CN114419147A (zh) * | 2021-11-16 | 2022-04-29 | 新兴际华集团有限公司 | 一种救援机器人智能化远程人机交互控制方法及系统 |
| CN114120363A (zh) * | 2021-11-23 | 2022-03-01 | 上海市刑事科学技术研究院 | 基于背景及姿态归一化的行人跨镜重识别方法及系统 |
| CN114140470A (zh) * | 2021-12-07 | 2022-03-04 | 群周科技(上海)有限公司 | 一种基于直升机机载激光雷达的地物语义分割方法 |
| CN114140471A (zh) * | 2021-12-07 | 2022-03-04 | 群周科技(上海)有限公司 | 一种基于直升机机载激光雷达的地面目标语义分割方法 |
| CN114719848A (zh) * | 2022-01-25 | 2022-07-08 | 西安微电子技术研究所 | 基于视觉与惯性导航信息融合神经网络的无人机高度估算方法 |
| CN114266780A (zh) * | 2022-02-28 | 2022-04-01 | 深圳市其域创新科技有限公司 | 一种建筑物单体化实例分割方法及装置 |
| CN114620218A (zh) * | 2022-03-30 | 2022-06-14 | 陕西科技大学 | 一种基于改进YOLOv5算法的无人机降落方法 |
| CN114782640A (zh) * | 2022-04-01 | 2022-07-22 | 东南大学 | 基于四足机器人的强度信息匹配快速激光slam算法 |
| CN114612348A (zh) * | 2022-05-11 | 2022-06-10 | 季华实验室 | 激光点云运动畸变校正方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 赵艳丽;: "RUV坐标系下再入段弹道目标跟踪研究", 导弹与航天运载技术, no. 02, 10 April 2011 (2011-04-10), pages 53 - 55 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109766878B (zh) | 一种车道线检测的方法和设备 | |
| US11593950B2 (en) | System and method for movement detection | |
| CN112650220B (zh) | 一种车辆自动驾驶方法、车载控制器及系统 | |
| CN113610044B (zh) | 基于自注意力机制的4d毫米波三维目标检测方法及系统 | |
| US20220292711A1 (en) | Pose estimation method and device, related equipment and storage medium | |
| CN107862293A (zh) | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 | |
| EP3932763A1 (en) | Method and apparatus for generating route planning model, and device | |
| WO2021082745A1 (zh) | 信息补全方法、车道线识别方法、智能行驶方法及相关产品 | |
| JP2023549036A (ja) | 点群からの効率的な三次元物体検出 | |
| WO2020215254A1 (zh) | 车道线地图的维护方法、电子设备与存储介质 | |
| CN111694012A (zh) | 一种基于机载激光雷达的三维地形在线生成方法及系统 | |
| CN114972654A (zh) | 一种基于路侧点云补全的三维目标检测方法 | |
| CN112800938A (zh) | 无人驾驶车辆检测侧面落石发生的方法及装置 | |
| CN116188893A (zh) | 基于bev的图像检测模型训练及目标检测方法和装置 | |
| CN112823353A (zh) | 使用机器学习进行对象定位 | |
| CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
| US20220020177A1 (en) | Overhead View Image Generation | |
| CN110927765B (zh) | 激光雷达与卫星导航融合的目标在线定位方法 | |
| CN113112462A (zh) | 一种轻量化车辆检测方法、系统及计算机可读介质 | |
| CN117808689A (zh) | 基于毫米波雷达与摄像头融合的深度补全方法 | |
| CN116678424A (zh) | 高精度车辆定位、矢量化地图构建及定位模型训练方法 | |
| CN115356740A (zh) | 一种机载环境下的可降落区域降落定位方法 | |
| WO2022194110A1 (zh) | 一种外参标定方法、装置、设备、服务器及车载计算设备 | |
| CN114140471A (zh) | 一种基于直升机机载激光雷达的地面目标语义分割方法 | |
| CN113888589A (zh) | 一种基于激光雷达的水面障碍物检测与多目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |