CN111627062A - 飞行器停机状态控制方法、装置及装置使用方法 - Google Patents
飞行器停机状态控制方法、装置及装置使用方法 Download PDFInfo
- Publication number
- CN111627062A CN111627062A CN202010509909.5A CN202010509909A CN111627062A CN 111627062 A CN111627062 A CN 111627062A CN 202010509909 A CN202010509909 A CN 202010509909A CN 111627062 A CN111627062 A CN 111627062A
- Authority
- CN
- China
- Prior art keywords
- shutdown
- aircraft
- image
- target
- stop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013136 deep learning model Methods 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims description 115
- 238000001514 detection method Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 17
- 238000012795 verification Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 10
- 238000013434 data augmentation Methods 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了飞行器停机状态控制方法、装置及装置使用方法，该方法包括：拍摄当前降落的目标飞行器在停机平台上的现场图像，通过预先建立并训练的深度学习模型对所述现场图像提取特征得到目标特征图，并根据所述目标特征图对所述目标飞行器的停机位置进行预测，得到停机位置结果；获取所述目标飞行器的空间四元数，并根据所述空间四元数对所述目标飞行器的水平姿态进行识别，得到停机姿态结果；根据所述停机位置结果和所述停机姿态结果得到所述目标飞行器的停机状态。本发明具有降落安全可靠、预测精确高效的技术特点。
Description
技术领域
本发明属于飞行器降落技术领域，尤其涉及飞行器停机状态控制方法、装置及装置使用方法。
背景技术
随着飞行器技术领域的不断发展，飞行器朝着全自动化的方向不断深入，在全自动化过程中，不仅需要实现飞行器的全自动化飞行，同时还需要飞行器实现全自动的安全降落。
飞行器在采用全自动降落技术的时候，当前的方式可能会因为环境问题导致在降落过程中出现预判和计算误差，即飞行器可能无法准确的停留在预期的位置上，这样在下一次启动之前还需要人为将飞行器调整至合适的位置，如有不慎可能会在起飞时导致螺旋桨和停机平台发生碰撞摩擦，造成不必要的损毁。另外，由于飞行器采用了接触充电的模式，如果无法降落在合适位置，将会导致无法充电而造成故障。
发明内容
本发明提供了飞行器停机状态控制方法、装置及装置使用方法，具有降落安全可靠、预测精确高效的技术特点。
为解决上述问题，本发明的技术方案为：
一种飞行器停机状态控制方法，包括以下步骤：
拍摄当前降落的目标飞行器在停机平台上的现场图像，通过预先建立并训练的深度学习模型对现场图像提取特征得到目标特征图，并根据目标特征图对目标飞行器的停机位置进行预测，得到停机位置结果；
获取目标飞行器的空间四元数，并根据空间四元数对目标飞行器的水平姿态进行识别，得到停机姿态结果；
根据停机位置结果和停机姿态结果得到目标飞行器的停机状态。
根据本发明一实施例，根据停机位置结果和停机姿态结果得到目标飞行器的停机状态之后，还包括：
根据停机状态对目标飞行器进行停机管理：
若停机位置在停机平台的停机范围内且水平姿态为可起飞状态，则反馈安全信号；
若停机位置不在停机平台的停机规定范围内且水平姿态为可起飞状态，则对目标飞行器执行起飞再降落，并根据重新获取的停机位置结果和停机姿态结果得到新的停机状态并进行停机管理；
若水平姿态为不可起飞状态，则反馈故障信号。
根据本发明一实施例，深度学习模型为基于目标检测模型建立并通过预先收集的图像训练集训练得到的模型，其中，图像训练集为通过视觉设备收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像，并对停机图像状态标注和预处理获取的训练集。
根据本发明一实施例，目标检测模型为R-CNN模型或者Fast R-CNN模型或者Faster R-CNN模型或者FPN模型或者YOLO模型或者SSD模型或者RetinaNet模型。
根据本发明一实施例，通过视觉设备收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像，并对停机图像状态标注和预处理进一步包括以下步骤：
通过视觉设备收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像；
对停机图像进行数据增广：调整停机图像的亮度、对比度、模糊程度，以扩大停机图像的适用范围；对每张停机图像进行复制并按比例分别调整每张停机图像的分辨率，获得数据扩增的图像数据集；
对图像数据集进行标记标签，得到标签文件，其中，标签记录有停机图像的中心位置坐标、宽度、高度、空间四元数；
由图像数据集和标签文件组成图像训练集。
根据本发明一实施例，图像训练集包括第一训练集、第二训练集和第三训练集，第一训练集为停机位置和水平姿态均正常的停机图像，第二训练集为停机位置不正常且水平姿态正常的停机图像，第三训练集为水平姿态不正常的停机图像。
根据本发明一实施例，图像训练集包括根据明暗变化、尺寸变化、样式变化划分的实训集、测试集和验证集，实训集、测试集、验证集分别用于深度学习模型的训练、测试、验证。
根据本发明一实施例，通过图像训练集训练得到深度学习模型进一步包括：
将实训集经过目标检测算法的特征提取网络进行预训练，并将完成预训练所获得的网络参数迁移到特征提取网络中进行初始化，得到迁移模型；
将训练得到迁移模型进行测试集的测试和验证集的验证；
根据测试和验证反馈得到的状态、边框位置和类别概率的实际情况，对迁移模型进行若干次训练参数调整，得到匹配效果最高的深度学习模型。
根据本发明一实施例，通过预先建立并训练的深度学习模型对现场图像提取特征得到目标特征图，并根据目标特征图对目标飞行器的停机位置进行预测，得到停机位置结果，进一步包括：
将现场图像预处理之后输入已经完成训练的深度学习模型，采用目标检测模型的特征提取网络对现场图像进行提取特征：通过对现场图像进行卷积、下采样将卷积的通道数翻倍，并进行1×1和3×3的卷积和交替操作和平均池化，得到对应的目标特征图；
将整幅目标特征图分成S×S个网格，每个网格生成多个边界框，每个边界框预测得到位置消息、置信度、空间四元数；
采用K-means聚类算法得到目标飞行器的边界框大小；
根据设定的阈值筛选出对于所需识别类别的置信度得分高的边界框，并用非极大抑制算法删除重叠边界框，得到目标飞行器的最终目标边界框；
根据最终目标边界框进行判断，得到停机位置结果。
根据本发明一实施例，空间四元数为最终目标边界框预测得到的空间四元数或者直接从飞行器上传感装置获取的空间四元数；
根据空间四元数对目标飞行器的水平姿态进行识别，得到停机姿态结果进一步包括：将空间四元数转换为欧拉角，根据欧拉角判断得到停机姿态结果。
根据本发明一实施例，拍摄当前降落的目标飞行器在停机平台上的现场图像执行之前，还包括以下步骤：
拍摄当前停机平台上的状态图像；
将状态图像和静态的停机平台背景图进行比较，得到图像区别区域；
采用Opencv中的背景减除（Background subtraction）算法对图像区别区域进行目标检测，以检测是否有飞行器降落至停机平台内：若检测到有飞行器降落至停机平台内，则拍摄当前降落的目标飞行器在停机平台上的现场图像。
根据本发明一实施例，目标飞行器为无人机。
一种飞行器停机状态控制装置，包括：停机平台、图像采集模块、控制模块，其中，图像采集模块包括外摄像头，控制模块包括停机位置识别单元、停机姿态识别单元、判定反馈单元；
外摄像头用于拍摄当前降落的目标飞行器在停机平台上的现场图像；
停机位置识别单元用于通过预先建立并训练的深度学习模型对现场图像提取特征得到目标特征图，并根据目标特征图对目标飞行器的停机位置进行预测，得到停机位置结果；
停机姿态识别单元用于获取目标飞行器的空间四元数，并根据空间四元数对目标飞行器的水平姿态进行识别，得到停机姿态结果；
判定反馈单元用于根据停机位置结果和停机姿态结果得到目标飞行器的停机状态。
根据本发明一实施例，判定反馈单元还用于根据停机状态对目标飞行器进行停机管理：
若停机位置在停机平台的停机范围内且水平姿态为可起飞状态，则反馈安全信号；
若停机位置不在停机平台的停机规定范围内且水平姿态为可起飞状态，则对目标飞行器执行起飞再降落，并根据重新获取的停机位置结果和停机姿态结果得到新的停机状态并进行停机管理；
若水平姿态为不可起飞状态，则反馈故障信号。
根据本发明一实施例，外摄像头还用于收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像；
控制模块包括模型单元，用于对停机图像状态标注和预处理获取图像训练集，以及基于目标检测模型建立并通过所述图像训练集训练得到所述深度学习模型。
根据本发明一实施例，图像采集模块还包括内摄像头，控制模块还包括检测单元；
内摄像头用于拍摄当前停机平台上的状态图像；
检测单元还用于将状态图像和静态的停机平台背景图进行比较，得到图像区别区域并采用Opencv中的背景减除（Background subtraction）算法对图像区别区域进行目标检测，以检测是否有飞行器降落至停机平台内。
一种飞行器停机状态控制装置的使用方法，其特征在于，应用于如上述实施例中任意一种的飞行器停机状态控制装置，包括以下步骤：
通过外摄像头拍摄当前降落的目标飞行器在停机平台上的现场图像；
通过停机位置识别单元通过预先建立并训练的深度学习模型对现场图像提取特征得到目标特征图，并根据目标特征图对目标飞行器的停机位置进行预测，得到停机位置结果；
通过停机姿态识别单元获取目标飞行器的空间四元数，并根据空间四元数对目标飞行器的水平姿态进行识别，得到停机姿态结果；
通过判定反馈单元根据停机位置结果和停机姿态结果得到目标飞行器的停机状态。
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
（1）本发明利用计算机视觉深度学习网络模型，基于降落的停机位置和停机姿态，实现了飞行器降落过程中各种异常的检测和分类，其中，具体基于目标检测模型建立并通过预先收集的图像训练集训练得到深度学习模型，其大大提升了预测的精确度和速度，并且在长期使用过程可以基于实际得到停机图像定期进行模型的训练，以进一步自主适应环境，提高模型检测的准确性；
（2）本发明在安全模式和故障模式之外，还有可能存在停机姿态正常但区域位置不当的情况，此时可以利用重新起飞再降落使停机位置回归至正常区域内，从而使安全管理的效率得到最大优化；
（3）本发明的飞行器停机状态控制方法解决了飞行器在采用全自动降落时可能会因为环境、天气、遮挡及网络原因导致采图和计算出现异常或者误差，即使平稳着陆也会造成上述异常，如果未经过检查可能会导致下次起飞时的碰撞和磨损，以及无法和无线充电连接的情况，从而达到了提高飞行器停机稳定性和续航能力的技术效果。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1 为本发明的一种飞行器停机状态控制方法的流程示意图；
图2 为本发明的一种飞行器停机状态控制装置的正面结构示意图；
图3 为本发明的一种飞行器停机状态控制装置的背面结构示意图；
图4为飞行器降落状态为安全状态时的示意图；
图5为飞行器降落状态为需要重新起飞状态的示意图；
图6为飞行器降落状态为异常停泊状态的示意图。
附图标记说明：
1：外摄像头；2：内摄像头；3：控制模块；4：停机平台。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
实施例1
参看图1，本实施例提供一种飞行器停机状态控制方法，包括以下步骤：
拍摄当前降落的目标飞行器在停机平台上的现场图像，通过预先建立并训练的深度学习模型对现场图像提取特征得到目标特征图，并根据目标特征图对目标飞行器的停机位置进行预测，得到停机位置结果；
获取目标飞行器的空间四元数，并根据空间四元数对目标飞行器的水平姿态进行识别，得到停机姿态结果；
根据停机位置结果和停机姿态结果得到目标飞行器的停机状态。
现具体地对本实施例进行详细说明，但不仅限于此：
本实施例中，预先建立并训练的深度学习模型为基于目标检测模型建立的模型，其中，深度学习模型为通过预先收集的图像训练集训练得到的模型，图像训练集为通过视觉设备收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像，并对停机图像状态标注和预处理获取的训练集。需要说明的是，本实施例的深度学习模型具体采用Darknet-53特征提取网络的YOLO V3目标检测模型进行建立，这仅仅是适用于本发明的飞行器停机状态控制方法的一种具体实施方式，但不仅限于此，更为广泛、灵活的，本实施例中的深度学习模型还可以基于如R-CNN(Region-based Convolution Neural Networks)、fast R-CNN、faster R-CNN 、FPN（Feature Pyramid Networks）、SSD（Single Shot MultiBoxDetector)、RetinaNet以及其他YOLO模型等目标检测模型进行建立模型，以对停机平台上的飞行器进行目标检测。
具体地，图像训练集可以通过以下步骤获取：A1：使用视觉设备收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像；A2：对停机图像进行数据增广：调整停机图像的亮度、对比度、模糊程度，以扩大停机图像的适用范围；对每张停机图像进行复制并按比例分别调整每张停机图像的分辨率，获得数据扩增的图像数据集；A3：对图像数据集进行标记标签，得到标签文件，其中，标签记录有停机图像的中心位置坐标、宽度、高度、空间四元数；A4：由图像数据集和标签文件组成图像训练集。
具体地，本实施例中，步骤A1中的停机图像的分辨率为640×480，步骤A2中按比例分别调整每张停机图像的分辨率为300×225、400×300、500×375和600×450，如此便实现了四倍量扩增。进一步地，本实施例的停机图像的分辨率和调整得到的图像分辨率可以根据实际需求进行调整。
具体地，数据处理及标签：将拍摄到的图片使用打标签工具截取需要保留的部分，在本实施例中保留飞行器机身以及周边部分边缘区域，考虑到数据集的数量，使用数据增强(data augmentation)让有限的数据产生更多的等价数据,包括空间几何变换类、像素颜色变换类、多样本合成类，以求在更多场景下让模型更适用，最后将处理好的数据打上标签。
本实施例的一种实施方式中，图像训练集可以包括第一训练集、第二训练集和第三训练集，第一训练集为停机位置和水平姿态均正常的停机图像，第二训练集为停机位置不正常且水平姿态正常的停机图像，第三训练集为水平姿态不正常的停机图像。具体地，数据采集为：广角摄像头记录下不同情况下飞行器的降落情况，采集大量的各种角度以及各个区域位置的图片，包括，飞行器平稳降落在停机平台的指定区域的情况（如图4所示），作为安全降落这一类的训练集；飞行器稳定降落在停机平台外，的情况（如图5所示），作为需要重新起飞这一类的训练集；飞行器以一种不平稳状态停泊（倾斜，倒立，侧躺）的情况（如图6所示），作为不安全降落这一类的训练集。
本实施例的另一种实施方式中，图像训练集可以基于训练集随机挑选具有明暗变化、尺寸变化、样式变化的图像，并将挑选得到的所有图像划分为实训集、测试集和验证集，实训集、测试集、验证集分别用于深度学习模型的训练、测试、验证。具体地，本实施例中，基于所述训练集随机挑选具有明暗变化、尺寸变化、样式变化的图像，并将挑选得到的所有图像的70%划分为实训集、20%划分为测试集和剩下的10%划分为验证集。进一步地，本实施例的划分比例可以根据实际需求进行调整。
本实施例中，采用基于Darknet-53特征提取网络的YOLO V3目标检测模型建立的深度学习模型，其中,通过图像训练集训练得到深度学习模型具体为：B1：将实训集经过Darknet-53特征提取网络进行预训练，并将完成预训练所获得的网络参数迁移到Darknet-53特征提取网络中进行初始化，得到迁移Darknet-53模型；B2：将训练得到迁移Darknet-53模型进行测试集的测试和验证集的验证；B3：根据测试和验证反馈得到的状态、边框位置和类别概率的实际情况，对迁移Darknet-53模型进行若干次训练参数调整，得到匹配效果最高的深度学习模型。
本实施例中，获取停机位置结果的具体过程包括：C1：将现场图像预处理之后输入已经完成训练的深度学习模型，采用Darknet-53特征提取网络对现场图像进行提取特征：通过对现场图像进行卷积、下采样将卷积的通道数翻倍，并进行1×1和3×3的卷积和交替操作和平均池化，得到对应的目标特征图；C2：将整幅目标特征图分成S×S个网格，每个网格生成多个边界框，每个边界框预测得到位置消息、置信度、空间四元数；C3：采用K-means聚类算法得到目标飞行器的边界框大小；C4：根据设定的阈值筛选出对于所需识别类别的置信度得分高的边界框，并用非极大抑制算法删除重叠边界框，得到目标飞行器的最终目标边界框；C5：根据最终目标边界框进行判断，得到停机位置结果。
本实施例中，获取目标飞行器的空间四元数为最终目标边界框预测得到的空间四元数或者直接从飞行器上传感装置获取的空间四元数，具体为：将空间四元数转换为欧拉角，根据欧拉角判断得到停机姿态结果。
较优地，拍摄当前降落的目标飞行器在停机平台上的现场图像执行之前，还包括以下步骤：D1：拍摄当前停机平台上的状态图像；D2：将状态图像和静态的停机平台背景图进行比较，得到图像区别区域；D3：采用Opencv中的Background subtraction算法对图像区别区域进行目标检测，以检测是否有飞行器降落至停机平台内：若检测到有飞行器降落至停机平台内，则拍摄当前降落的目标飞行器在停机平台上的现场图像。具体地，首先取一张静态的背景图（不包含要检测的移动物体即飞行器），然后比较监控图像（包含移动物体）和背景图，找到不同区域，这个区域就是要检测的物体，通过一系列图像处理算法检测出飞行器是否已进入区域范围。
较优地，本实施例的停机状态可以分为以下情况：如图4所示的停机位置在停机平台的停机范围内且水平姿态为可起飞状态，此时降落状态为安全状态，如图5所示的停机位置不在停机平台的停机规定范围内且水平姿态为可起飞状态，此时降落状态为需要重新起飞状态，如图6所示的水平姿态为不可起飞状态，此时降落状态为停泊异常状态。进一步地，根据停机位置结果和停机姿态结果得到目标飞行器的停机状态之后，还包括：根据停机状态对目标飞行器进行停机管理：若停机位置在停机平台的停机范围内且水平姿态为可起飞状态，则反馈安全信号；若停机位置不在停机平台的停机规定范围内且水平姿态为可起飞状态，则对目标飞行器执行起飞再降落，并根据重新获取的停机位置结果和停机姿态结果得到新的停机状态并进行停机管理；若水平姿态为不可起飞状态，则反馈故障信号。
较优地，本实施例在确认飞行器正确停在停机平台指定位置之后，可自动对确认安全降落的飞行器进行固定和/或充电。
现结合图4至图6对本实施例进行说明：
如图4所示，若飞行器的停机位置在停机坪内，此时停机平台内摄像头记录飞行器停留在标定位置，且停机姿态为可起飞状态，停机平台外摄像头记录没有飞行器，分别将此两张图片输入至训练好的神经网络模型对此状态进行识别（此刻分类为可起飞状态），视觉设备检测到飞行器入库，此时欧拉角情况正常 ，飞行器降落成功，并且向控制端发送安全信号；
异常停泊状态一：如图5所示，若飞行器的停机位置超出停机坪，且停机姿态为可起飞状态，此时停机平台内视觉设备记录飞行器停留在标定位置之外，且停机姿态为可起飞状态，停机平台外视觉设备记录有飞行器，分别将此两张图片输入至训练好的神经网络模型对此状态进行识别（此刻分类为重新起飞状态），此时欧拉角情况正常，但视觉设备检测停机平台内无飞行器，则飞行器重新起飞；
异常停泊状态二：如图6所示，此时停机平台内视觉设备记录飞行器停留在标定位置之外，且停机姿态为不可起飞状态，停机平台外视觉设备记录有飞行器，分别将此两张图片输入至训练好的神经网络模型对此状态进行识别（此刻分类为故障状态），此时欧拉角异常，且停机平台内检测不到飞行器，则向控制中心发送停机故障信号。
本实施例具有以下技术优势：
（1）本实施例利用计算机视觉深度学习网络模型，基于降落的停机位置和停机姿态，实现了飞行器降落过程中各种异常的检测和分类，其中，具体基于Darknet-53特征提取网络的YOLO V3模型建立并通过预先收集的图像训练集训练得到深度学习模型，其大大提升了预测的精确度和速度，并且在长期使用过程可以基于实际得到停机图像定期进行模型的训练，以进一步自主适应环境，提高模型检测的准确性；
（2）本实施例在安全模式和故障模式之外，还有可能存在停机姿态正常但区域位置不当的情况，此时可以利用重新起飞再降落使停机位置回归至正常区域内，从而使安全管理的效率得到最大优化；
（3）本实施例的飞行器停机状态控制方法解决了飞行器在采用全自动降落时可能会因为环境、天气、遮挡及网络原因导致采图和计算出现异常或者误差，即使平稳着陆也会造成上述异常，如果未经过检查可能会导致下次起飞时的碰撞和磨损，以及无法和无线充电连接的情况，从而达到了提高飞行器停机稳定性和续航能力的技术效果。
实施例2
参看图2和图3，本实施例提供一种基于实施例1的飞行器停机状态控制装置，包括：
停机平台4、图像采集模块、控制模块3，其中，图像采集模块包括外摄像头1，控制模块3包括停机位置识别单元、停机姿态识别单元、判定反馈单元；
外摄像头1用于拍摄当前降落的目标飞行器在停机平台4上的现场图像；
停机位置识别单元用于通过预先建立并训练的深度学习模型对现场图像提取特征得到目标特征图，并根据目标特征图对目标飞行器的停机位置进行预测，得到停机位置结果；
停机姿态识别单元用于获取目标飞行器的空间四元数，并根据空间四元数对目标飞行器的水平姿态进行识别，得到停机姿态结果；
判定反馈单元用于根据停机位置结果和停机姿态结果得到目标飞行器的停机状态。
现对本实施例进行详细说明：
较优地，判定反馈单元还用于根据停机状态对目标飞行器进行停机管理：若停机位置在停机平台的停机范围内且水平姿态为可起飞状态（如图4所示），则反馈安全信号；若停机位置不在停机平台的停机规定范围内且水平姿态为可起飞状态（如图5所示），则对目标飞行器执行起飞再降落，并根据重新获取的停机位置结果和停机姿态结果得到新的停机状态并进行停机管理；若水平姿态为不可起飞状态（如图6所示），则反馈故障信号。具体地，参看图3，图像采集模块还包括内摄像头2，控制模块3还包括检测单元；内摄像头2用于拍摄当前停机平台4上的状态图像；检测单元还用于将状态图像和静态的停机平台4背景图进行比较，得到图像区别区域并采用Opencv中的Background subtraction算法对图像区别区域进行目标检测，以检测是否有飞行器降落至停机平台4内。
较优地，外摄像头还用于收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像，控制模块包括模型单元，用于对停机图像状态标注和预处理获取图像训练集，以及基于Darknet-53特征提取网络的YOLO V3模型建立深度学习模型，并根据图像训练集对深度学习模型进行训练。需要说明的是，本实施例的深度学习模型具体采用Darknet-53特征提取网络的YOLO V3目标检测模型进行建立，这仅仅是适用于本发明的飞行器停机状态控制方法的一种具体实施方式，但不仅限于此，更为广泛、灵活的，本实施例中的深度学习模型还可以基于如R-CNN(Region-based Convolution Neural Networks)、fast R-CNN、faster R-CNN 、FPN（Feature Pyramid Networks）、SSD（Single Shot MultiBoxDetector)、RetinaNet以及其他YOLO模型等目标检测模型进行建立模型，以对停机平台上的飞行器进行目标检测。
具体地，外摄像头可设于停机平台的上支架上，也可以设于停机平台的外的支架上，内摄像头设于停机平台内，监测范围包括停机坪的范围。控制模块的模型单元、停机位置识别单元、停机姿态识别单元、判定反馈单元可以为同一处理单元或不同的处理单元。
具体地，外摄像头为广角摄像头，进行数据采集为：记录下不同情况下飞行器的降落情况，采集大量的各种角度以及各个区域位置的图片，包括，飞行器平稳降落在停机平台的指定区域的情况（如图4所示），作为安全降落这一类的训练集；飞行器稳定降落在停机平台外，的情况（如图5所示），作为需要重新起飞这一类的训练集；飞行器以一种不平稳状态停泊（倾斜，倒立，侧躺）的情况（如图6所示），作为不安全降落这一类的训练集。
具体地，模型单元被配置为对停机图像状态标注和预处理获取训练集：对停机图像进行数据增广：调整停机图像的亮度、对比度、模糊程度，以扩大停机图像的适用范围；对每张停机图像进行复制并按比例分别调整每张停机图像的分辨率，获得数据扩增的图像数据集，并对图像数据集进行标记标签，得到标签文件，其中，标签记录有停机图像的中心位置坐标、宽度、高度、空间四元数，由图像数据集和标签文件组成训练集。本实施例中，停机图像的分辨率为640×480，按比例分别调整每张停机图像的分辨率为300×225、400×300、500×375和600×450，如此便实现了四倍量扩增。进一步地，本实施例的停机图像的分辨率和调整得到的图像分辨率可以根据实际需求进行调整。
具体地，数据处理及标签：将拍摄到的图片使用打标签工具截取需要保留的部分，在本实施例中保留飞行器机身以及周边部分边缘区域，考虑到数据集的数量，使用数据增强(data augmentation)让有限的数据产生更多的等价数据,包括空间几何变换类、像素颜色变换类、多样本合成类，以求在更多场景下让模型更适用，最后将处理好的数据打上标签。
本实施例的一种实施方式中，训练集包括第一训练集、第二训练集和第三训练集，第一训练集为停机位置和水平姿态均正常的停机图像，第二训练集为停机位置不正常且水平姿态正常的停机图像，第三训练集为水平姿态不正常的停机图像。
本实施例的另一种实施方式中，基于训练集随机挑选具有明暗变化、尺寸变化、样式变化的图像，并将挑选得到的所有图像划分为实训集、测试集和验证集，实训集、测试集、验证集分别用于深度学习模型的训练、测试、验证。本实施例中，基于所述训练集随机挑选具有明暗变化、尺寸变化、样式变化的图像，并将挑选得到的所有图像的70%划分为实训集、20%划分为测试集和剩下的10%划分为验证集。进一步地，本实施例的划分比例可以根据实际需求进行调整。
具体地，模型单元还被配置为基于Darknet-53特征提取网络的YOLO V3模型建立深度学习模型，并根据训练集对深度学习模型进行训练：将实训集经过Darknet-53特征提取网络进行预训练，并将完成预训练所获得的网络参数迁移到Darknet-53特征提取网络中进行初始化，得到迁移Darknet-53模型；将训练得到迁移Darknet-53模型进行测试集的测试和验证集的验证；根据测试和验证反馈得到的状态、边框位置和类别概率的实际情况，对迁移Darknet-53模型进行若干次训练参数调整，得到匹配效果最高的深度学习模型。
本实施例中，停机位置识别单元被配置为获取目标飞行器的空间四元数，并根据空间四元数对目标飞行器的水平姿态进行识别，得到停机姿态结果：拍摄当前降落的目标飞行器在停机平台上的现场图像；将现场图像预处理之后输入已经完成训练的深度学习模型，采用Darknet-53特征提取网络对现场图像进行提取特征：通过对现场图像进行卷积、下采样将卷积的通道数翻倍，并进行1×1和3×3的卷积和交替操作和平均池化，得到对应的目标特征图；将整幅目标特征图分成S×S个网格，每个网格生成多个边界框，每个边界框预测得到位置消息、置信度、空间四元数；采用K-means聚类算法得到目标飞行器的边界框大小；根据设定的阈值筛选出对于所需识别类别的置信度得分高的边界框，并用非极大抑制算法删除重叠边界框，得到目标飞行器的最终目标边界框；根据最终目标边界框进行判断，得到停机位置结果。其中，获取目标飞行器的空间四元数为最终目标边界框预测得到的空间四元数或者直接从飞行器上传感装置获取的空间四元数；根据空间四元数对目标飞行器的水平姿态进行识别具体为：将空间四元数转换为欧拉角，根据欧拉角判断得到停机姿态结果。
具体地，检测单元被配置为将状态图像和静态的停机平台背景图进行比较，得到图像区别区域并采用Opencv中的Background subtraction算法对图像区别区域进行目标检测，以检测是否有飞行器降落至停机平台内：拍摄当前停机平台上的状态图像；将状态图像和静态的停机平台背景图进行比较，得到图像区别区域；采用Opencv中的Backgroundsubtraction算法对图像区别区域进行目标检测，以检测是否有飞行器降落至停机平台内：若检测到有飞行器降落至停机平台内，否则，循环检测直至检测到有飞行器降落至停机平台内。
具体地，首先取一张静态的背景图（不包含要检测的移动物体即飞行器），然后比较监控图像（包含移动物体）和背景图，找到不同区域，这个区域就是要检测的物体，通过一系列图像处理算法检测出飞行器是否已进入区域范围。
较优地，还包括固定模块和充电模块，固定模块用于对确认安全降落的飞行器进行固定，充电模块用于对确认安全降落的飞行器进行充电。
本实施例还提供一种上述实施例的飞行器停机状态控制装置使用方法：
通过外摄像头拍摄当前降落的目标飞行器在停机平台上的现场图像，并通过停机位置识别单元基于Darknet-53特征提取网络的YOLO V3模型建立的深度学习模型对现场图像提取特征得到目标特征图，并根据目标特征图对目标飞行器的停机位置进行预测，得到停机位置结果；
其中，深度学习模型为通过模型单元预先收集的图像训练集训练得到的模型，图像训练集为通过外摄像头收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像，并对停机图像状态标注和预处理获取的训练集；
通过停机姿态识别单元获取目标飞行器的空间四元数，并根据空间四元数对目标飞行器的水平姿态进行识别，得到停机姿态结果；
通过判定反馈单元根据停机位置结果和停机姿态结果得到目标飞行器的停机状态，并根据停机状态对目标飞行器进行停机管理。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。
Claims (17)
1.一种飞行器停机状态控制方法，其特征在于，包括以下步骤：
拍摄当前降落的目标飞行器在停机平台上的现场图像，通过预先建立并训练的深度学习模型对所述现场图像提取特征得到目标特征图，并根据所述目标特征图对所述目标飞行器的停机位置进行预测，得到停机位置结果；
获取所述目标飞行器的空间四元数，并根据所述空间四元数对所述目标飞行器的水平姿态进行识别，得到停机姿态结果；
根据所述停机位置结果和所述停机姿态结果得到所述目标飞行器的停机状态。
2.根据权利要求1所述的飞行器停机状态控制方法，其特征在于，所述根据所述停机位置结果和所述停机姿态结果得到所述目标飞行器的停机状态之后，还包括：
根据所述停机状态对所述目标飞行器进行停机管理：
若停机位置在停机平台的停机范围内且水平姿态为可起飞状态，则反馈安全信号；
若停机位置不在停机平台的停机规定范围内且水平姿态为可起飞状态，则对所述目标飞行器执行起飞再降落，并根据重新获取的所述停机位置结果和所述停机姿态结果得到新的所述停机状态并进行所述停机管理；
若所述水平姿态为不可起飞状态，则反馈故障信号。
3.根据权利要求1所述的飞行器停机状态控制方法，其特征在于，所述深度学习模型为基于目标检测模型建立并通过预先收集的图像训练集训练得到的模型，其中，所述图像训练集为通过视觉设备收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像，并对所述停机图像状态标注和预处理获取的训练集。
4.根据权利要求3所述的飞行器停机状态控制方法，其特征在于，所述目标检测模型为R-CNN模型或者Fast R-CNN模型或者Faster R-CNN模型或者FPN模型或者YOLO模型或者SSD模型或者RetinaNet模型。
5.根据权利要求3所述的飞行器停机状态控制方法，其特征在于，所述通过视觉设备收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像，并对所述停机图像状态标注和预处理进一步包括以下步骤：
通过视觉设备收集飞行器在停机平台上各个拍摄角度和不同停泊位置的所述停机图像；
对所述停机图像进行数据增广：调整所述停机图像的亮度、对比度、模糊程度，以扩大所述停机图像的适用范围；对每张所述停机图像进行复制并按比例分别调整每张所述停机图像的分辨率，获得数据扩增的图像数据集；
对所述图像数据集进行标记标签，得到标签文件，其中，所述标签记录有所述停机图像的中心位置坐标、宽度、高度、空间四元数；
由所述图像数据集和所述标签文件组成所述图像训练集。
6.根据权利要求5所述的飞行器停机状态控制方法，其特征在于，所述图像训练集包括第一训练集、第二训练集和第三训练集，所述第一训练集为所述停机位置和所述水平姿态均正常的停机图像，所述第二训练集为所述停机位置不正常且所述水平姿态正常的停机图像，所述第三训练集为所述水平姿态不正常的停机图像。
7.根据权利要求5所述的飞行器停机状态控制方法，其特征在于，所述图像训练集包括根据明暗变化、尺寸变化、样式变化划分的实训集、测试集和验证集，所述实训集、所述测试集、所述验证集分别用于所述深度学习模型的训练、测试、验证。
8.根据权利要求7所述的飞行器停机状态控制方法，其特征在于，所述通过图像训练集训练得到所述深度学习模型进一步包括：
将所述实训集经过所述目标检测模型的特征提取网络进行预训练，并将完成所述预训练所获得的网络参数迁移到所述特征提取网络中进行初始化，得到迁移模型；
将训练得到所述迁移模型进行所述测试集的测试和所述验证集的验证；
根据测试和验证反馈得到的状态、边框位置和类别概率的实际情况，对所述迁移模型进行若干次训练参数调整，得到匹配效果最高的所述深度学习模型。
9.根据权利要求3所述的飞行器停机状态控制方法，其特征在于，所述通过预先建立并训练的深度学习模型对所述现场图像提取特征得到目标特征图，并根据所述目标特征图对所述目标飞行器的停机位置进行预测，得到停机位置结果，进一步包括：
将所述现场图像预处理之后输入已经完成训练的所述深度学习模型，采用所述目标检测模型的特征提取网络对所述现场图像进行提取特征：通过对所述现场图像进行卷积、下采样将卷积的通道数翻倍，并进行1×1和3×3的卷积和交替操作和平均池化，得到对应的所述目标特征图；
将整幅所述目标特征图分成S×S个网格，每个网格生成多个边界框，每个边界框预测得到位置消息、置信度、空间四元数；
采用K-means聚类算法得到所述目标飞行器的边界框大小；
根据设定的阈值筛选出对于所需识别类别的置信度得分高的边界框，并用非极大抑制算法删除重叠边界框，得到目标飞行器的最终目标边界框；
根据所述最终目标边界框进行判断，得到所述停机位置结果。
10.根据权利要求9所述的飞行器停机状态控制方法，其特征在于，所述空间四元数为所述最终目标边界框预测得到的空间四元数或者直接从飞行器上传感装置获取的空间四元数；
所述根据所述空间四元数对所述目标飞行器的水平姿态进行识别，得到停机姿态结果进一步包括：将所述空间四元数转换为欧拉角，根据所述欧拉角判断得到所述停机姿态结果。
11.根据权利要求1-10任意一项所述的飞行器停机状态控制方法，其特征在于，所述拍摄当前降落的目标飞行器在停机平台上的现场图像执行之前，还包括以下步骤：
拍摄当前停机平台上的状态图像；
将所述状态图像和静态的停机平台背景图进行比较，得到图像区别区域；
采用Opencv中的背景减除算法对所述图像区别区域进行目标检测，以检测是否有飞行器降落至停机平台内：若检测到有飞行器降落至停机平台内，则拍摄当前降落的目标飞行器在停机平台上的现场图像。
12.根据权利要求1-10任意一项所述的飞行器停机状态控制方法，其特征在于，所述目标飞行器为无人机。
13.一种飞行器停机状态控制装置，其特征在于，包括：停机平台、图像采集模块、控制模块，其中，所述图像采集模块包括外摄像头，所述控制模块包括停机位置识别单元、停机姿态识别单元、判定反馈单元；
所述外摄像头用于拍摄当前降落的目标飞行器在停机平台上的现场图像；
所述停机位置识别单元用于通过预先建立并训练的深度学习模型对所述现场图像提取特征得到目标特征图，并根据所述目标特征图对所述目标飞行器的停机位置进行预测，得到停机位置结果；
所述停机姿态识别单元用于获取所述目标飞行器的空间四元数，并根据所述空间四元数对所述目标飞行器的水平姿态进行识别，得到停机姿态结果；
所述判定反馈单元用于根据所述停机位置结果和所述停机姿态结果得到所述目标飞行器的停机状态。
14.根据权利要求13所述的飞行器停机状态控制装置，其特征在于，所述判定反馈单元还用于根据所述停机状态对所述目标飞行器进行停机管理：
若停机位置在停机平台的停机范围内且水平姿态为可起飞状态，则反馈安全信号；
若停机位置不在停机平台的停机规定范围内且水平姿态为可起飞状态，则对所述目标飞行器执行起飞再降落，并根据重新获取的所述停机位置结果和所述停机姿态结果得到新的所述停机状态并进行所述停机管理；
若所述水平姿态为不可起飞状态，则反馈故障信号。
15.根据权利要求13所述的飞行器停机状态控制装置，其特征在于，所述外摄像头还用于收集飞行器在停机平台上各个拍摄角度和不同停泊位置的停机图像；
所述控制模块包括模型单元，用于对所述停机图像状态标注和预处理获取图像训练集，以及基于目标检测模型建立并通过所述图像训练集训练得到所述深度学习模型。
16.根据权利要求13所述的飞行器停机状态控制装置，其特征在于，所述图像采集模块还包括内摄像头，所述控制模块还包括检测单元；
所述内摄像头用于拍摄当前停机平台上的状态图像；
所述检测单元还用于将所述状态图像和静态的停机平台背景图进行比较，得到图像区别区域并采用Opencv中的背景减除算法对所述图像区别区域进行目标检测，以检测是否有飞行器降落至停机平台内。
17.一种飞行器停机状态控制装置的使用方法，其特征在于，应用于如权利要求13至16任意一项所述的飞行器停机状态控制装置，包括以下步骤：
通过外摄像头拍摄当前降落的目标飞行器在停机平台上的现场图像；
通过停机位置识别单元通过预先建立并训练的深度学习模型对所述现场图像提取特征得到目标特征图，并根据所述目标特征图对所述目标飞行器的停机位置进行预测，得到停机位置结果；
通过停机姿态识别单元获取所述目标飞行器的空间四元数，并根据所述空间四元数对所述目标飞行器的水平姿态进行识别，得到停机姿态结果；
通过判定反馈单元根据所述停机位置结果和所述停机姿态结果得到所述目标飞行器的停机状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010509909.5A CN111627062B (zh) | 2020-06-08 | 2020-06-08 | 飞行器停机状态控制方法、装置及装置使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010509909.5A CN111627062B (zh) | 2020-06-08 | 2020-06-08 | 飞行器停机状态控制方法、装置及装置使用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111627062A true CN111627062A (zh) | 2020-09-04 |
| CN111627062B CN111627062B (zh) | 2021-02-05 |
Family
ID=72260352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010509909.5A Active CN111627062B (zh) | 2020-06-08 | 2020-06-08 | 飞行器停机状态控制方法、装置及装置使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111627062B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968107A (zh) * | 2019-10-25 | 2020-04-07 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
| CN112346476A (zh) * | 2020-11-06 | 2021-02-09 | 广东电科院能源技术有限责任公司 | 一种无人机自动巡检系统及方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107957728A (zh) * | 2017-12-15 | 2018-04-24 | 哈尔滨工业大学（威海） | 无人机降落方法、无人机及海上浮台 |
| CN109085851A (zh) * | 2018-09-12 | 2018-12-25 | 哈尔滨工业大学（威海） | 无人机定点降落方法 |
| US20180373269A1 (en) * | 2017-06-26 | 2018-12-27 | Walmart Apollo, Llc | Systems and methods using a backup navigational tool for unmanned aerial vehicles delivering merchandise |
| US10185320B2 (en) * | 2017-01-30 | 2019-01-22 | SkyRyse, Inc. | Vehicle system and method for providing services |
| CN109901627A (zh) * | 2019-04-08 | 2019-06-18 | 吉林大学 | 一种无人机的着陆位姿调整方法、系统及相关组件 |
| CN110058601A (zh) * | 2019-03-19 | 2019-07-26 | 沈阳无距科技有限公司 | 无人直升机起降快速判定的方法、装置及电子设备 |
| CN110104196A (zh) * | 2019-06-12 | 2019-08-09 | 广东电网有限责任公司 | 一种能自动开闭的无人机停机装置和无人机停机方法 |
| CN110211159A (zh) * | 2019-06-06 | 2019-09-06 | 中国民航科学技术研究院 | 一种基于图像视频处理技术的飞机位置检测系统及方法 |
| CN210027959U (zh) * | 2019-06-12 | 2020-02-07 | 广东电网有限责任公司 | 一种能自动开闭的无人机停机装置 |
| CN110825101A (zh) * | 2019-12-26 | 2020-02-21 | 电子科技大学 | 一种基于深度卷积神经网络的无人机自主降落方法 |
| CN111221344A (zh) * | 2020-01-19 | 2020-06-02 | 金肯职业技术学院 | 一种基于仿生学中的眼镜蛇抬头和鱼鹰返渔船动作的无人机在海上着陆的方法 |
| CN111232234A (zh) * | 2020-02-10 | 2020-06-05 | 江苏大学 | 一种飞行器空间实时定位系统的方法 |
-
2020
- 2020-06-08 CN CN202010509909.5A patent/CN111627062B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10185320B2 (en) * | 2017-01-30 | 2019-01-22 | SkyRyse, Inc. | Vehicle system and method for providing services |
| US20180373269A1 (en) * | 2017-06-26 | 2018-12-27 | Walmart Apollo, Llc | Systems and methods using a backup navigational tool for unmanned aerial vehicles delivering merchandise |
| CN107957728A (zh) * | 2017-12-15 | 2018-04-24 | 哈尔滨工业大学（威海） | 无人机降落方法、无人机及海上浮台 |
| CN109085851A (zh) * | 2018-09-12 | 2018-12-25 | 哈尔滨工业大学（威海） | 无人机定点降落方法 |
| CN110058601A (zh) * | 2019-03-19 | 2019-07-26 | 沈阳无距科技有限公司 | 无人直升机起降快速判定的方法、装置及电子设备 |
| CN109901627A (zh) * | 2019-04-08 | 2019-06-18 | 吉林大学 | 一种无人机的着陆位姿调整方法、系统及相关组件 |
| CN110211159A (zh) * | 2019-06-06 | 2019-09-06 | 中国民航科学技术研究院 | 一种基于图像视频处理技术的飞机位置检测系统及方法 |
| CN110104196A (zh) * | 2019-06-12 | 2019-08-09 | 广东电网有限责任公司 | 一种能自动开闭的无人机停机装置和无人机停机方法 |
| CN210027959U (zh) * | 2019-06-12 | 2020-02-07 | 广东电网有限责任公司 | 一种能自动开闭的无人机停机装置 |
| CN110825101A (zh) * | 2019-12-26 | 2020-02-21 | 电子科技大学 | 一种基于深度卷积神经网络的无人机自主降落方法 |
| CN111221344A (zh) * | 2020-01-19 | 2020-06-02 | 金肯职业技术学院 | 一种基于仿生学中的眼镜蛇抬头和鱼鹰返渔船动作的无人机在海上着陆的方法 |
| CN111232234A (zh) * | 2020-02-10 | 2020-06-05 | 江苏大学 | 一种飞行器空间实时定位系统的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈龙胜 等: "基于视觉信息的无人机自主着陆过程姿态和位置估计", 《电光与控制》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968107A (zh) * | 2019-10-25 | 2020-04-07 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
| CN112346476A (zh) * | 2020-11-06 | 2021-02-09 | 广东电科院能源技术有限责任公司 | 一种无人机自动巡检系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111627062B (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102386221B1 (ko) | 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 | |
| CN110703800A (zh) | 基于无人机的电力设施智能识别方法及系统 | |
| CN111627062B (zh) | 飞行器停机状态控制方法、装置及装置使用方法 | |
| CN112380952A (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN113324864B (zh) | 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法 | |
| KR20190108832A (ko) | 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법 | |
| CN106920240A (zh) | 一种基于红外图像的绝缘子识别和故障诊断方法 | |
| CN112258490A (zh) | 基于光学和红外图像融合的低发射率涂层智能探损方法 | |
| CN111898444A (zh) | 一种基于图像识别的飞机起落架状态判定方法 | |
| CN113205039A (zh) | 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法 | |
| CN107256034B (zh) | 一种基于无人机的变配电室多点环境数据采集系统 | |
| CN109359545B (zh) | 复杂低空环境下一种协同监视方法与装置 | |
| CN110597165A (zh) | 一种堆钢监测系统及堆钢监测方法 | |
| CN113706496A (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
| CN112819988A (zh) | 基于5g的无人机电站智能巡检方法、系统和网络侧服务端 | |
| Steiger et al. | Automatic detection of transmission towers | |
| CN115202404B (zh) | 基于无人机的光伏发电组维护巡检方法 | |
| Terzoglou et al. | Employing deep learning framework for improving solar panel defects using drone imagery | |
| CN110516551B (zh) | 一种基于视觉的巡线位置偏移识别系统、方法及无人机 | |
| CN115165911A (zh) | 槽式光热电站液压轴销的检测方法和装置 | |
| Ismail et al. | Enhance pv panel detection using drone equipped with rtk | |
| KR102171597B1 (ko) | 풍력 발전기 블레이드 인식/분석 장치 및 방법 | |
| US20230316547A1 (en) | Information processing apparatus, method and medium | |
| Zhang et al. | Photovoltaic hot spot fault warning and treatment method based on image processing | |
| US20230316538A1 (en) | Information processing apparatus, method and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |