CN111913492B - 无人机安全降落方法和装置 - Google Patents
无人机安全降落方法和装置 Download PDFInfo
- Publication number
- CN111913492B CN111913492B CN201910384204.2A CN201910384204A CN111913492B CN 111913492 B CN111913492 B CN 111913492B CN 201910384204 A CN201910384204 A CN 201910384204A CN 111913492 B CN111913492 B CN 111913492B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- area
- safety
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 38
- 238000012163 sequencing technique Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000002360 preparation method Methods 0.000 abstract description 6
- 230000001419 dependent effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011065 in-situ storage Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- -1 forests Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请公开了一种无人机安全降落方法和装置，该方法包括：获取当前位置图像，并将当前位置图像划分为若干个区域；根据深度卷积神经网络模型，识别若干个区域中的安全区域，并将计算得到的安全区域对应的置信度进行排序；控制无人机飞行到安全区域中置信度最高的区域上空，进而，计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至该投影平面，其中投影平面为安全降落的区域。本申请实施例提供的无人机安全降落方法，能够当无人机需要紧急迫降或者无人机在结束正常飞行时，根据周围实际环境进行安全降落，不依赖于备降场等基础设施，成本低，可以应用于不同的航线上，扩展性强。
Description
技术领域
本发明一般涉及无人机技术领域，具体涉及一种无人机安全降落方法和装置。
背景技术
无人机(Unmanned Aerial Vehicle，UAV)，是指利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。与载人飞机相比，无人机具有体积小、造价低和使用方便等诸多优势，可广泛应用于航拍、快递送货、灾难救援、电力巡检和影视拍摄等领域。
在无人机的飞行过程中，如果遇到恶劣天气或者自身出现故障时，无人机需要紧急迫降。现有技术中，采取的方案是将无人机原地迫降或者飞往备降场进行迫降。然而，原地迫降无法保证降落点的安全性，比如有树木、水池等；若到备降场进行降落则会因为无人机距离备降场较远，无法从当前位置飞到备降场，或者由于备降场降雨无法实现迫降，从而导致无人机的损坏。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种无人机安全降落方法和装置，当无人机需要紧急迫降时，能够根据周围实际环境进行安全降落，不依赖于备降场等基础设施，成本低，可以应用于不同的航线上，扩展性强。
第一方面，本申请提供一种无人机安全降落方法，包括：
获取当前位置图像，并将所述当前位置图像划分为若干个区域；
根据深度卷积神经网络模型，识别所述若干个区域中的安全区域，并将计算得到的所述安全区域对应的置信度进行排序；其中，所述置信度表征所述安全区域能够用于安全降落的概率；
控制无人机飞行到所述安全区域中置信度最高的区域上空；
计算所述无人机在所述置信度最高的区域中的投影平面，并控制所述无人机降落至所述投影平面；其中，所述投影平面为安全降落的区域。
第二方面，本申请提供一种无人机安全降落装置，包括：
图像处理模块，用于获取当前位置图像，并将所述当前位置图像划分为若干个区域；
排序模块，用于根据深度卷积神经网络模型，识别所述若干个区域中的安全区域，并将计算得到的所述安全区域对应的置信度进行排序；其中，所述置信度表征所述安全区域能够用于安全降落的概率；
第一控制模块，用于控制无人机飞行到所述安全区域中置信度最高的区域上空；
第二控制模块，用于计算所述无人机在所述置信度最高的区域中的投影平面，并控制所述无人机降落至所述投影平面；其中，所述投影平面为安全降落的区域。
综上，本申请实施例提供的无人机安全降落方法和装置，当无人机发生迫降预警或者无人机在结束正常飞行时，能够直接根据获取的当前位置图像进行安全降落，不依赖于备降场等基础设施，并将当前位置图像划分为若干个区域，用以根据深度卷积神经网络模型，识别出若干个区域中的安全区域，再将计算得到的安全区域对应的置信度进行排序，并控制无人机飞行到安全区域中置信度最高的区域上空；由于置信度表征安全区域能够用于安全降落的概率，即置信度越高的区域，无人机降落时更加安全可靠；进而，为了保证无人机能够平稳降落，需要计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至该投影平面，其中投影平面为安全降落的区域。基于此，本申请实施例中当无人机需要紧急迫降或者在结束正常飞行时，能够根据周围实际环境进行安全降落，不依赖于备降场等基础设施，成本低，可以应用于不同的航线上，扩展性强。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种无人机安全降落方法的基本流程示意图；
图2为本申请实施例提供的一种图像划分示意图；
图3为本申请实施例提供的一种无人机安全降落示意图；
图4为本申请实施例提供的另一种无人机安全降落方法的流程示意图；
图5为本申请实施例提供的一种深度卷积神经网络模型的训练流程示意图；
图6为本申请实施例提供的另一种无人机安全降落示意图；
图7为本申请实施例提供的一种无人机安全降落装置；
图8为本申请实施例提供的另一种无人机安全降落装置；
图9为本申请实施例提供的再一种无人机安全降落装置；
图10为本申请实施例提供的一种计算机系统。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了便于理解和说明，下面通过图1至图9详细的阐述本申请实施例提供的无人机安全降落方法及装置。
请参考图1，其为本申请实施例提供的一种无人机安全降落方法的基本流程示意图，该方法包括以下步骤：
S101，获取当前位置图像，并将当前位置图像划分为若干个区域。
举例说明，当无人机发生迫降预警或者无人机在结束正常飞行时，获取当前位置的图像，并将该图像划分为若干个区域。本申请实施例能够根据周围实际环境进行安全降落，不依赖于备降场等基础设施，成本低，避免了无人机原地迫降无法保证降落点的安全性，以及若到备降场进行降落则会因为无人机距离备降场较远，无法从当前位置飞到备降场，或者由于备降场降雨无法实现迫降，从而导致无人机的损坏。
比如，如图2所示，其为本申请实施例提供的一种图像划分示意图。将获取的宽为W、高为H的当前位置图像，划分为m×n个区域，每个区域的宽为w、高为h，那么
S102，根据深度卷积神经网络模型，识别若干个区域中的安全区域，并将计算得到的安全区域对应的置信度进行排序。
其中，置信度表征安全区域能够用于安全降落的概率。
需要说明的是，深度卷积神经网络模型能够识别出若干个区域中的非安全区域以及安全区域。比如，非安全区域为山、水以及树木等。也就是说，如果若干个区域中的某个区域完全是山、水或者树木，那么这个区域即为非安全区域，就不能用于安全降落，否则会造成无人机的损坏；而如果若干个区域中的某个区域不完全是山、水或者树木，那么这个区域即为安全区域，就需要计算该安全区域对应的置信度，并控制无人机飞行到置信度最高的区域上空，保证了无人机降落的安全。其中，若干个区域中包括一个或多个安全区域。
S103，控制无人机飞行到安全区域中置信度最高的区域上空。
举例说明，将划分的若干个区域输入深度卷积神经网络模型中进行分类，即对若干个区域中的每个区域都进行识别，识别出不完全是山、水或者树木的安全区域；其中，安全区域的数量为一个或多个；进而，计算各个安全区域对应的置信度，并对各个安全区域对应的置信度按照从低到高的顺序进行排序，控制无人机飞行到安全区域中置信度最高的区域上空。由于无人机在飞行的过程中，会遇见空旷的地面等安全区域，水域、森林、岩石和洼地等非安全区域。因此，通过将划分的若干个区域输入深度卷积神经网络模型中进行分类，包含安全区域对应的置信度很高，而包含非安全区域对应的置信度要降低。当划分的区域中既包含安全区域又包含非安全区域时，根据安全区域和非安全区域所占的面积大小调整该划分的区域的置信度。比如，划分的区域的总面积为1cm2，安全区域对应的面积为0.8cm2，非安全区域对应的面积为0.2cm2。由于安全区域的面积远大于非安全区域的面积，因此无人机可以在该区域降落，那么该区域的置信度为0.8。本申请实施例根据深度卷积神经网络模型，对当前图像所划分的若干个区域进行分类，得到对应的置信度，并控制无人机飞行到若干个区域中置信度最高的区域上空，从而实现无人机高空安全降落区域识别的目的。
需要说明的是，深度卷积神经网络(Deep Convolutional Neural Network)是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理，应用于图像识别。卷积神经网络由卷积层和池化层组成，包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。其中，一维卷积神经网络常应用于序列类的数据处理，二维卷积神经网络常应用于图像类文本的识别，三维卷积神经网络主要应用于医学图像以及视频类数据识别。由于深度卷积神经网络在特征识别相关任务中取得的效果，远比使用传统方法的效果好。因此，深度卷积神经网络常用于图像识别和语音识别等领域。
S104，计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至投影平面。
其中，投影平面为安全降落的区域。
具体的，根据置信度最高的区域的深度图和相机参数，计算置信度最高的区域的稠密点云信息；然后，对稠密点云信息进行法向量的计算和平面提取，得到置信度最高的区域的平面点云集合；从而，控制无人机降落至该平面点云集合对应的投影平面。其中，平面点云集合对应的投影平面为安全降落的区域。
比如，无人机飞行到安全区域中置信度最高的区域之后，通过双目相机镜头采集当前场景的图像并进行深度恢复得到深度图D，然后根据深度图D和相机内置参数(cx,cy,fx,fy)，计算出该当前场景的稠密点云信息。其中，相机的像素点pi＝{ui,vi}对应的深度为zi＝D(ui,vi)/1000m，对应的x、y坐标为：
根据坐标值进行点云法向量的计算，以及通过随机抽样一致算法(Random SampleConsensus，RANSAC)进行平面提取，得到置信度最高的区域的平面点云集合为Ω，将Ω通过相机模型投影到2D平面上，并控制无人机降落至该平面点云集合投影的平面。其中，随机抽样一致算法采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，常应用于计算机视觉处理领域。请参考图3，其为本申请实施例提供的一种无人机安全降落示意图。无人机(Unmanned Aerial Vehicle，UAV)沿航线飞行的过程中，发生预警时触发安全降落程序。通过对当前场景安全降落区域进行可行性的分析，当无人机能够降落时，则从高空飞到对应区域所在的低空位置；而当无人机飞行到低空区域之后，进行双目深度恢复并计算得到当前场景对应的点云信息，进而提取法向量，计算出较为平整地面的区域，并控制无人机安全降落在该平整地面。
本申请实施例提供的无人机安全降落方法，当无人机发生迫降预警或者无人机在结束正常飞行时，能够直接根据获取的当前位置图像进行安全降落，不依赖于备降场等基础设施，并将当前位置图像划分为若干个区域，用以根据深度卷积神经网络模型，识别出若干个区域中的安全区域，再将计算得到的安全区域对应的置信度进行排序，并控制无人机飞行到安全区域中置信度最高的区域上空；由于置信度表征安全区域能够用于安全降落的概率，即置信度越高的区域，无人机降落时更加安全可靠；进而，为了保证无人机能够平稳降落，需要计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至该投影平面，其中投影平面为安全降落的区域。基于此，本申请实施例中当无人机需要紧急迫降或者在结束正常飞行时，能够根据周围实际环境进行安全降落，不依赖于备降场等基础设施，成本低，可以应用于不同的航线上，扩展性强。
基于前述实施例，本申请实施例提供的另一种无人机安全降落方法的流程示意图，如图4所示，该方法包括以下步骤：
S401，获取当前位置图像，并将当前位置图像划分为若干个区域。
举例说明，当无人机发生迫降预警或者无人机在结束正常飞行时，获取当前位置的图像，并将该图像划分为若干个区域。本申请实施例能够根据周围实际环境进行安全降落，不依赖于备降场等基础设施，成本低，避免了无人机原地迫降无法保证降落点的安全性，以及若到备降场进行降落则会因为无人机距离备降场较远，无法从当前位置飞到备降场，或者由于备降场降雨无法实现迫降，从而导致无人机的损坏。
S402，根据深度卷积神经网络模型，识别若干个区域中的安全区域，并将计算得到的安全区域对应的置信度进行排序。
其中，置信度表征安全区域能够用于安全降落的概率。
比如，深度卷积神经网络模型识别出若干个区域中的安全区域和非安全区域，并计算出各个安全区域对应的置信度。其中，安全区域对应的置信度比包含非安全区域对应的置信度高很多，进而使得无人机能够根据置信度的高低选择安全降落的区域。
需要说明的是，请参考图5所示，本申请实施例中的深度卷积神经网络模型通过以下步骤训练而成。
S4021，采集航线上的图片，并将图片与标注的置信度进行关联。
举例说明，本申请实施例中无人机沿航线飞行的过程中，采集所有出现在航线上的图片，并计算和标注图片对应的置信度；进而，将图片与标注的置信度进行关联，即建立一一对应关系。
S4022，根据图片以及标注的置信度，训练得到深度卷积神经网络模型。
举例说明，采集所有出现在无人机飞行航线上的图片，比如为500张图片，并对这500张图片进行安全区域的标注，得到带有正负标签的样本，该正负标签即为置信度。然后，构建深度卷积神经网络模型，输入500张图片中的400张图片进行模型训练，另外100张图片用于测试该深度卷积神经网络模型的准确性。
S403，当安全区域对应的置信度都低于预设阈值时，获取无人机的第一位置。
需要说明的是，在无人机的飞行过程中，如果当前场景的安全区域对应的置信度都低于预设阈值，比如置信度都小于预设阈值0.1时，说明无人机此时不能够安全降落，则需要获取无人机的第一位置，并在当前时刻重新定位，计算得到无人机距离当前时刻所在第一位置最近的航线安全降落区域，控制无人机飞行到该航线安全降落区域对应的位置，再进行低空降落。
S404，在离线地图中，查找距离第一位置最近的第二位置，并获取与第二位置关联的关键帧数据。
其中，关键帧数据包括第二位置以及安全区域中置信度最高的区域。
举例说明，如图6所示，其为本申请实施例提供的另一种无人机安全降落示意图。如果无人机当前场景中没有可以安全降落的区域，则进行全局重定位，并根据离线地图，查找得到距离当前时刻第一位置最近的有安全降落区域的关键帧数据对应的第二位置，从而控制无人机飞行到该关键帧数据的安全区域中置信度最高的区域上空。
需要说明的是，关键帧数据通过如下方式构建：采集无人机在航线不同位置处的位姿和图像数据，其中位姿包括位置信息和姿态信息，并对该图像数据进行词向量提取和安全区域的识别；从而，根据航线不同位置处的位姿、词向量以及安全区域中置信度最高的区域，构建得到离线地图中的关键帧数据。
比如，无人机沿航线飞行的过程中，通过全球定位系统(Global PositioningSystem，GPS)采集位置数据，惯性测量单元(Inertial measurement unit，IMU)采集飞行姿态以及相机采集图像数据，对数据融合处理得到航线上无人机的位置信息和姿态信息，即位姿；然后，对图像数据进行词袋(Bag of Words，BOW)提取和安全区域的识别；从而，将离线地图中的关键帧数据描述为其中/>表示位姿，Bowi表示词向量以及recti表示该关键帧对应的位置置信度最高的安全降落区域。
S405，控制无人机飞行到置信度最高的区域上空。
需要说明的是，由于关键帧数据包括了安全区域中置信度最高的区域，因此，本申请实施例中控制无人机飞行到置信度最高的区域上空，从而实现无人机高空安全降落区域识别的目的。
S406，计算置信度最高的区域的平面点云集合。
具体的，首先根据置信度最高的区域的深度图和相机参数，计算置信度最高的区域的稠密点云信息；然后，对稠密点云信息进行法向量的计算和平面提取，得到置信度最高的区域的平面点云集合。
比如，无人机飞行到安全区域中置信度最高的区域之后，通过双目相机镜头采集当前场景的图像并进行深度恢复得到深度图D，然后根据深度图D和相机内置参数(cx,cy,fx,fy)，计算出该当前场景的稠密点云信息。其中，相机的像素点pi＝{ui,vi}对应的深度为zi＝D(ui,vi)/1000m，对应的x、y坐标为：
根据坐标值进行点云法向量的计算，以及通过随机抽样一致算法(Random SampleConsensus，RANSAC)进行平面提取，得到置信度最高的区域的平面点云集合为Ω，将Ω通过相机模型投影到2D平面上，并控制无人机降落至该平面点云集合对应的投影平面。
需要说明的是，无人机在高空识别出置信度最高的区域适宜安全降落之后，则转为低空飞行。通过对置信度最高的区域进行测算，使得无人机能够降落在该区域中的平整地面上。
S407，控制无人机降落至平面点云集合对应的投影平面。
其中，平面点云集合对应的投影平面为安全降落的区域。
具体的，根据平面点云集合对应的投影平面与无人机的相机光心的距离，确定无人机四个角点对应的坐标；从而，将无人机四个角点对应的坐标投影到平面点云集合对应的投影平面上，并控制无人机降落至该投影平面。
比如，假设无人机的尺寸为Fw×Fh，测得平面点云集合对应的投影平面与无人机的相机光心的距离为z，无人机四个角点对应的坐标为：
F1＝[Fw/2，Fh/2，z]
F2＝[-Fw/2，Fh/2，z]
F3＝[-Fw/2，-Fh/2，z]
F4＝[Fw/2，-Fh/2，z]
无人机安全降落至少需要组成的矩形区域对应的面积大小。因此，将组成的矩形区域投影到平面点云集合对应的投影平面L上，得到一个在2D平面上的安全降落区域Rect1，对Rect1取最外包矩形，并外增几个像素点确保降落安全，得到对应2D图像上需要满足的区域Rect2。然后，对L进行遍历，若点pi满足L(pi)＝1，并且以点pi为中心的大小为Rect2的区域都满足L对应位置为1，则控制飞机降落到以点pi为中心的大小为Rect2的区域。
本申请实施例提供的无人机安全降落方法，当无人机需要紧急迫降或者在结束正常飞行时，能够根据周围实际环境进行安全降落，不依赖于备降场等基础设施，成本低，可以应用于不同的航线上，扩展性强。
基于前述实施例，本申请实施例提供一种无人机安全降落装置，该装置可以应用于图1～6对应的实施例提供的无人机安全降落方法中。参照图7所示，该无人机安全降落装置7包括：
图像处理模块71，用于获取当前位置图像，并将当前位置图像划分为若干个区域；
排序模块72，用于根据深度卷积神经网络模型，识别若干个区域中的安全区域，并将计算得到的安全区域对应的置信度进行排序；其中，置信度表征安全区域能够用于安全降落的概率；
第一控制模块73，用于控制无人机飞行到安全区域中置信度最高的区域上空；
第二控制模块74，用于计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至投影平面；其中，投影平面为安全降落的区域。
在本申请的其它实施例中，如图8所示，该无人机安全降落装置7还包括：
采集模块75，用于采集航线上的图片，并将图片与标注的置信度进行关联；
训练模块76，用于根据图片以及标注的置信度，训练得到深度卷积神经网络模型。
在本申请的其它实施例中，如图9所示，该无人机安全降落装置7中的第二控制模块74包括：
计算单元741，用于计算置信度最高的区域的平面点云集合；
控制单元742，用于控制无人机降落至平面点云集合对应的投影平面。
在本申请的其它实施例中，计算单元741具体用于根据置信度最高的区域的深度图和相机参数，计算置信度最高的区域的稠密点云信息；
对稠密点云信息进行法向量的计算和平面提取，得到置信度最高的区域的平面点云集合。
在本申请的其它实施例中，控制单元742具体用于根据平面点云集合对应的投影平面与无人机的相机光心的距离，确定无人机四个角点对应的坐标；
将无人机四个角点对应的坐标投影到平面点云集合对应的投影平面上，并控制无人机降落至投影平面。
在本申请的其它实施例中，排序模块72还用于当安全区域对应的置信度都低于预设阈值时，获取无人机的第一位置；
在离线地图中，查找距离第一位置最近的第二位置，并获取与第二位置关联的关键帧数据；其中，关键帧数据包括第二位置以及安全区域中置信度最高的区域。
在本申请的其它实施例中，排序模块72还用于采集无人机在航线不同位置处的位姿和图像数据，位姿包括位置信息和姿态信息；
对图像数据进行词向量提取和安全区域的识别；
根据航线不同位置处的位姿、词向量以及安全区域中置信度最高的区域，构建离线地图中的关键帧数据。
需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
本申请实施例提供的无人机安全降落装置，当无人机发生迫降预警或者无人机在结束正常飞行时，能够直接根据获取的当前位置图像进行安全降落，不依赖于备降场等基础设施，并将当前位置图像划分为若干个区域，用以根据深度卷积神经网络模型，识别出若干个区域中的安全区域，再将计算得到的安全区域对应的置信度进行排序，并控制无人机飞行到安全区域中置信度最高的第二安全区域上空；由于置信度表征安全区域能够用于安全降落的概率，即置信度越高的区域，无人机降落时更加安全可靠；进而，为了保证无人机能够平稳降落，需要计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至该投影平面，其中投影平面为安全降落的区域。基于此，本申请实施例中当无人机需要紧急迫降或者在结束正常飞行时，能够根据周围实际环境进行安全降落，不依赖于备降场等基础设施，成本低，可以应用于不同的航线上，扩展性强。
基于前述实施例，本申请实施例提供一种计算机系统。请参照图10所示，该计算机系统1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM1003中，还存储有系统操作所需的各种程序和数据。CPU1001、ROM1002以及RAM1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本申请的实施例，上文参考流程图1和图4描述的过程可以被实现为计算机软件程序。例如，本申请的实施例1包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序由CPU 1001执行，以实现如下步骤：
获取当前位置图像，并将当前位置图像划分为若干个区域；
根据深度卷积神经网络模型，识别若干个区域中的安全区域，并将计算得到的安全区域对应的置信度进行排序；其中，置信度表征安全区域能够用于安全降落的概率；
控制无人机飞行到安全区域中置信度最高的区域上空；
计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至投影平面；其中，投影平面为安全降落的区域。
在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例无人机安全降落的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像处理模块、排序模块、第一控制模块及第二控制模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的终端中所包含的；也可以是单独存在，而未装配入该终端中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该终端执行时，使得该终端实现如上述实施例中的无人机安全降落方法。
例如，终端可以实现如图1中所示的：S101，获取当前位置图像，并将当前位置图像划分为若干个区域；S102，根据深度卷积神经网络模型，识别若干个区域中的安全区域，并将计算得到的安全区域对应的置信度进行排序；其中，置信度表征安全区域能够用于安全降落的概率；S103，控制无人机飞行到安全区域中置信度最高的区域上空；S104，计算无人机在置信度最高的区域中的投影平面，并控制无人机降落至投影平面；其中，投影平面为安全降落的区域。又如，终端可以实现如图4～5中所示的各个步骤。
应当注意，尽管在上文详细描述中提及了用于动作执行的终端的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (7)
1.一种无人机安全降落方法，其特征在于，所述方法包括：
获取当前位置图像，并将所述当前位置图像划分为若干个区域；
根据深度卷积神经网络模型，识别所述若干个区域中的安全区域，并将计算得到的所述安全区域对应的置信度进行排序；其中，所述置信度表征所述安全区域能够用于安全降落的概率；
控制无人机飞行到所述安全区域中置信度最高的区域上空；
计算所述无人机在所述置信度最高的区域中的投影平面，并控制所述无人机降落至所述投影平面；其中，所述投影平面为安全降落的区域；
其中，所述根据深度卷积神经网络模型，识别所述若干个区域中的安全区域，并将计算得到的所述安全区域对应的置信度进行排序，还包括：当所述安全区域对应的置信度都低于预设阈值时，获取所述无人机的第一位置；在离线地图中，查找距离所述第一位置最近的第二位置，并获取与所述第二位置关联的关键帧数据；其中，所述关键帧数据包括所述第二位置以及所述安全区域中置信度最高的区域；
所述关键帧数据通过以下步骤构建：采集所述无人机在航线不同位置处的位姿和图像数据，所述位姿包括位置信息和姿态信息；对所述图像数据进行词向量的提取和所述安全区域的识别；根据所述航线不同位置处的位姿、词向量以及所述安全区域中置信度最高的区域，构建所述离线地图中的关键帧数据；
其中，所述控制无人机飞行到所述安全区域中置信度最高的区域上空，还包括：控制无人机飞行到所述关键帧数据的安全区域中置信度最高的区域上空。
2.根据权利要求1所述的无人机安全降落方法，其特征在于，所述深度卷积神经网络模型通过以下步骤训练而成：
采集航线上的图片，并将所述图片与标注的置信度进行关联；
根据所述图片以及所述标注的置信度，训练得到所述深度卷积神经网络模型。
3.根据权利要求1所述的无人机安全降落方法，其特征在于，所述计算所述无人机在所述置信度最高的区域中的投影平面，并控制所述无人机降落至所述投影平面，包括：
计算所述置信度最高的区域的平面点云集合；
控制所述无人机降落至所述平面点云集合对应的投影平面。
4.根据权利要求3所述的无人机安全降落方法，其特征在于，所述计算所述置信度最高的区域的平面点云集合，包括：
根据所述置信度最高的区域的深度图和相机参数，计算所述置信度最高的区域的稠密点云信息；
对所述稠密点云信息进行法向量的计算和平面提取，得到所述置信度最高的区域的平面点云集合。
5.根据权利要求3所述的无人机安全降落方法，其特征在于，所述控制所述无人机降落至所述平面点云集合对应的投影平面，包括：
根据所述平面点云集合对应的投影平面与所述无人机的相机光心的距离，确定所述无人机四个角点对应的坐标；
将所述无人机四个角点对应的坐标投影到所述平面点云集合对应的投影平面上，并控制所述无人机降落至所述投影平面。
6.一种无人机安全降落装置，其特征在于，所述装置包括：
图像处理模块，用于获取当前位置图像，并将所述当前位置图像划分为若干个区域；
排序模块，用于根据深度卷积神经网络模型，识别所述若干个区域中的安全区域，并将计算得到的所述安全区域对应的置信度进行排序；其中，所述置信度表征所述安全区域能够用于安全降落的概率；
第一控制模块，用于控制无人机飞行到所述安全区域中置信度最高的区域上空；
第二控制模块，用于计算所述无人机在所述置信度最高的区域中的投影平面，并控制所述无人机降落至所述投影平面；其中，所述投影平面为安全降落的区域；
其中，所述排序模块还用于当所述安全区域对应的置信度都低于预设阈值时，获取所述无人机的第一位置；在离线地图中，查找距离所述第一位置最近的第二位置，并获取与所述第二位置关联的关键帧数据；其中，所述关键帧数据包括所述第二位置以及所述安全区域中置信度最高的区域；
以及，采集所述无人机在航线不同位置处的位姿和图像数据，所述位姿包括位置信息和姿态信息；对所述图像数据进行词向量的提取和所述安全区域的识别；根据所述航线不同位置处的位姿、词向量以及所述安全区域中置信度最高的区域，构建所述离线地图中的关键帧数据；
其中，所述第一控制模块还用于控制无人机飞行到所述关键帧数据的安全区域中置信度最高的区域上空。
7.根据权利要求6所述的无人机安全降落装置，其特征在于，所述第二控制模块包括：
计算单元，用于计算所述置信度最高的区域的平面点云集合；
控制单元，用于控制所述无人机降落至所述平面点云集合对应的投影平面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910384204.2A CN111913492B (zh) | 2019-05-09 | 2019-05-09 | 无人机安全降落方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910384204.2A CN111913492B (zh) | 2019-05-09 | 2019-05-09 | 无人机安全降落方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111913492A CN111913492A (zh) | 2020-11-10 |
| CN111913492B true CN111913492B (zh) | 2024-04-19 |
Family
ID=73242179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910384204.2A Active CN111913492B (zh) | 2019-05-09 | 2019-05-09 | 无人机安全降落方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111913492B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011557B (zh) * | 2021-02-22 | 2021-09-21 | 山东航空股份有限公司 | 基于卷积神经网络的飞机不稳定进近判断方法及系统 |
| CN113050680B (zh) * | 2021-03-09 | 2023-05-30 | 广东鸿源智能科技有限公司 | 一种无人机备用降落控制方法 |
| CN113220014B (zh) * | 2021-04-08 | 2022-08-23 | 复旦大学 | 一种基于四叉树递归的无人机最佳着陆点搜索方法及装置 |
| CN113428371B (zh) * | 2021-07-23 | 2023-06-30 | 中国科学院地理科学与资源研究所 | 一种能够进行应急处理的无人机和无人机应急处理方法 |
| CN113759984B (zh) * | 2021-11-09 | 2022-02-08 | 山东天亚达新材料科技有限公司 | 一种竞速无人机的数据智能交互方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105405165A (zh) * | 2015-10-21 | 2016-03-16 | 北京航空航天大学 | 一种通用型无人机飞行中地貌分析及迫降区域提取仿真系统 |
| CN107444665A (zh) * | 2017-07-24 | 2017-12-08 | 长春草莓科技有限公司 | 一种无人机自主降落方法 |
| CN108303993A (zh) * | 2018-01-25 | 2018-07-20 | 武汉汇卓航科技有限公司 | 一种无人机故障紧急迫降方法 |
| CN109343572A (zh) * | 2018-12-20 | 2019-02-15 | 深圳市道通智能航空技术有限公司 | 一种无人机自主降落方法、装置及无人机 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10019907B2 (en) * | 2015-09-11 | 2018-07-10 | Qualcomm Incorporated | Unmanned aerial vehicle obstacle detection and avoidance |
| US11017679B2 (en) * | 2017-01-13 | 2021-05-25 | Skydio, Inc. | Unmanned aerial vehicle visual point cloud navigation |
-
2019
- 2019-05-09 CN CN201910384204.2A patent/CN111913492B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105405165A (zh) * | 2015-10-21 | 2016-03-16 | 北京航空航天大学 | 一种通用型无人机飞行中地貌分析及迫降区域提取仿真系统 |
| CN107444665A (zh) * | 2017-07-24 | 2017-12-08 | 长春草莓科技有限公司 | 一种无人机自主降落方法 |
| CN108303993A (zh) * | 2018-01-25 | 2018-07-20 | 武汉汇卓航科技有限公司 | 一种无人机故障紧急迫降方法 |
| CN109343572A (zh) * | 2018-12-20 | 2019-02-15 | 深圳市道通智能航空技术有限公司 | 一种无人机自主降落方法、装置及无人机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111913492A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111913492B (zh) | 无人机安全降落方法和装置 | |
| US11195011B2 (en) | Object detection and avoidance for aerial vehicles | |
| US11835561B2 (en) | Unmanned aerial vehicle electromagnetic avoidance and utilization system | |
| US11454988B2 (en) | Systems and methods for automated landing of a drone | |
| CN109324337B (zh) | 无人飞行器的航线生成及定位方法、装置及无人飞行器 | |
| US10127449B2 (en) | Condition detection using image processing | |
| AU2015404580B2 (en) | Condition detection using image processing | |
| CN109358648B (zh) | 无人机自主飞行的方法、装置以及无人机 | |
| US9892646B2 (en) | Context-aware landing zone classification | |
| CN110770791A (zh) | 一种基于点云地图的图像边界获取方法、设备及飞行器 | |
| Chen et al. | Obtaining world coordinate information of UAV in GNSS denied environments | |
| CN111123964B (zh) | 一种无人机降落方法、设备以及计算机可读介质 | |
| CN109460046B (zh) | 一种无人机自然地标识别与自主着陆方法 | |
| US20200064133A1 (en) | Information processing device, aerial photography route generation method, aerial photography route generation system, program, and storage medium | |
| CN110244765B (zh) | 一种飞行器航线轨迹生成方法、装置、无人机及存储介质 | |
| KR20160082886A (ko) | 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 | |
| Domozi et al. | Real time object detection for aerial search and rescue missions for missing persons | |
| CN115909096A (zh) | 无人机巡航管道隐患分析方法、装置及系统 | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
| US20220283584A1 (en) | Information processing device, information processing method, and information processing program | |
| US20220221857A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
| CN115686073B (zh) | 一种基于无人机的输电线路巡检控制方法及系统 | |
| US9881028B2 (en) | Photo-optic comparative geolocation system | |
| US20240124137A1 (en) | Obstacle avoidance for aircraft from shadow analysis | |
| CN116805397A (zh) | 用于使用机器学习算法检测和识别图像中的小对象的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210715 Address after: 518063 5th floor, block B, building 1, software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Fengyi Technology (Shenzhen) Co.,Ltd. Address before: 518061 Intersection of Xuefu Road (south) and Baishi Road (east) in Nanshan District, Shenzhen City, Guangdong Province, 6-13 floors, Block B, Shenzhen Software Industry Base Applicant before: SF TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |