CN117636284A - 一种基于视觉图像导引的无人机自主着降方法及装置 - Google Patents
一种基于视觉图像导引的无人机自主着降方法及装置 Download PDFInfo
- Publication number
- CN117636284A CN117636284A CN202311632901.8A CN202311632901A CN117636284A CN 117636284 A CN117636284 A CN 117636284A CN 202311632901 A CN202311632901 A CN 202311632901A CN 117636284 A CN117636284 A CN 117636284A
- Authority
- CN
- China
- Prior art keywords
- runway
- landing
- image
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000001228 spectrum Methods 0.000 claims abstract description 22
- 238000013459 approach Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 38
- 239000010410 layer Substances 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 17
- 230000003595 spectral effect Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000013136 deep learning model Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 241000826860 Trapezium Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 108091028732 Concatemer Proteins 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于视觉图像导引的自主着降方法及装置，将图像识别划分为机场外围、机场内围、机场跑道三个场景进近检测识别与跟踪，构建无人机起降的跑道目标识别及位姿解算模型，通过构建四个角点预测框生成Polygon‑Yolo目标检测网络，进行深度学习模型训练和参数调整；克服标签重写和锚点Anchor分配不平衡问题，采用谱信息约束匹配的方式提高跑道特征识别准确度，精准跟踪定位理想着降点，引入PnP算法解算相机位姿参数，完成机体自由度参数解算；本发明方法满足无人机着降需求，还可用于未知环境条件下有人/无人固定翼飞行器滑降着陆要求，实现依靠纯视觉条件下图像导引的进近着陆。
Description
技术领域
本发明属于无人机应用技术领域，具体涉及一种基于视觉图像导引的自主着降方法及装置。
背景技术
无人机UAV是一种能够在未知环境下执行侦察、通信、测绘、打击等多种任务，并重复使用的智能化平台，其未知环境的自主着降能力是实现真正无人自主飞行的关键能力之一，自主着降可靠性和智能化程度也是衡量无人机系统成熟与否的重要因素。而现阶段，无人机自主着降技术主要依靠全球卫星导航系统、毫米波单脉冲二次雷达引导、仪表着陆系统和微波着陆系统等传统方式实现，这些方法在合作已知环境下已经取得了大量的研究和应用成果，但在未知环境下，特别是GNSS信号拒止条件下，则存在引导精度不够、自主性能不高的技术挑战和难题，为此众多学者借鉴大脑视觉器官处理机制，提出利用相机、摄像头等机器视觉系统导引无人机自主降落技术方法，如将利用无人机采集视频图像与已有数据库的跑道图像的视觉匹配着陆方法、利用预设地面标志和机器视觉跟踪算法的视觉降落技术等。
目前基于机器视觉的无人机自主着降研究大多是针对旋翼小型无人机，涉及沿着固定下滑道分阶段滑跑进近较少，如专利CN201310563804，CN201610624928均是从旋翼无人机着降角度研究位姿估计和着降方法，难以适用固定下滑角着陆时引导需求；针对该问题，专利CN201810730693针对固定翼无人机着降需求，提出利用3DCNN神经网络从图像分类检测与识别的方法给出了解决方案，该方法摆脱了地面辅助标志，提高场景适用性，该方法仅解决了近距离跑道识别跟踪问题，难以实现进近阶段远距离对机场检测和识别，同时经典的3DCNN神经网络平台应用于无人机跑道着陆阶段着降区域检测识别工程实现存在标签重写和锚点Anchor分配不平衡的问题，其中Anchor为图像预设参考尺寸，机场和跑道视频训练过程中容易出现由于两个目标角点太近而导致其中一个目标被重写而无法训练和目标尺寸分布不均衡某些尺度特征层无法被充分利用两个问题，引起训练验证集标注出现误差，效率不高，实时导引过程中识别精度不够，安全着降的可靠性不足。
发明内容
为了克服现有技术应用于无人机自主着降时存在效率不高、识别精度不够的问题，参考飞机进近着陆程序，将基于视觉图像导引的无人机自主着降划分为机场进近和跑道着陆两个阶段，将图像识别划分为机场外围(整个机场环境)、机场内围(机场中包含跑道的区域)、机场跑道(具体的跑道区域)三个场景进近检测识别与跟踪，构建无人机起降的跑道目标识别及位姿解算模型，提供一种基于图像空间分类的视觉图像导引方法，满足GNSS拒止条件下复杂未知环境无人机自主着降需求。
当无人机处于机场外围即整个机场环境时，无人机先接近机场，使机头对准机场方向，这可以通过罗盘、导航机或者塔康等设备引导实现，然后进入基于纯视觉图像导引的无人机自主着降方法，具体如下：
步骤1：当无人机处于机场外围时，采集机场图像。使用机载相机从无人机视角实时采集的未知机场环境图像，图片尺预设参考框优于416×416；
步骤2：图像预处理；采用相关滤波和图像分割算法，将采集的机场图像进行滤波降噪，剔除重复模糊的图像及背景，提取机场图像；
步骤3：地平线检测；无人机机场进近阶段，地平线是一个很明显也很重要的特征，可以认为地平线的上半部分始终是天空，下半部始终是地面，确定地平线后只对地平线以下的部分处理，可以简化图像处理的工作。由于无人机着降机场环境地势比较平坦，对机场进近阶段采集的预处理图像用Hough变换检测直线，对所有检测到的直线计算代价函数：
其中e(xij)为：
其中f(x)为采集图像二值分割函数，xij表示像素点，像素点xij图像坐标为(ul,vw)，则f(x)＝1表示像素点xij是机场目标，f(x)＝-1表示像素点xij是背景，α是一个正常数，用来改善算法性能，使得代价函数最小的直线即为地平线。
当无人机处于机场内围即机场中包含跑道的区域时，此时机场轮廓基本出现在采集的图像中，进入步骤4。
步骤4：使用边缘检测和边界检测检测，从直线提取识别跑道。随着无人机逐渐接近跑道，采集图像的跑道区域面积逐渐增大，图像中跑道形状从梯形向三角形过渡到矩形，但过渡过程中跑道边界始终具有很强的特征，它不随平移、旋转、缩放和透视而改变，在图像中始终为直线。根据这个特性，采用对跑道边缘检测和边界描述的方法跟踪感兴趣区域。对跑道边缘检测选用Canny算子，边界描述采用Hough变换描述。
经过Canny算子边缘检测及Hough变换边界描述，得到当前帧的跑道边界位置。跑道边界位置随着无人机运动不断变化，但是前后两帧之间变化在较小范围内，因此可以设置感兴趣区域对跑道进行跟踪。
步骤5：图像剔除处理；对采集的跑道着陆阶段图像，去除重复模糊的图像，保留N帧跑道着陆图像；
无人机在跑道着陆阶段，构建角点预测的深度神经网络模型提取该阶段视觉图像的跑道特征，进入步骤6。
步骤6：构建语义分割的多边形预测框，将跑道着陆图像经过聚类和语义分割得到角点预测框，即跑道特征图。为提高检测效率，将经典目标检测的预测目标正锚框调整为预测目标四个角点，得到跑道特征图。
步骤7：标注图像，引入语义分割多边形预测框标注跑道特征图。其中每个预测框有M个对应的数据，M为类数量，其中1个标注数据表示框内是否含有目标，4个数据用以存储框的位置信息，剩余M-5个数据表示目标条件类别概率，是在有目标条件下进行分类，按照预测框对角顶点、目标类型编号和语义多边形顶点三个分类。标注格式为：
(x1,y1,x2,y2,class,plx,ply,pnx,pny)
其中预测框对角顶点坐标为(x1,y1,x2,y2)，目标类型编号class,预测框语义分割的多边形对角顶点为(plx,ply,pnx,pny)，用于预测框内目标语义信息，提高检测概率。
步骤8：生成训练集和验证集；对于标注完成的N帧跑道特征图，以随机划分的方式选取一部分图像作为训练验证集，剩余的图像作为测试集，并且在训练验证集中以随机划分的方式生成训练集和验证集。
步骤9：在经典YOLO目标检测网络基础上，基于构建的角点预测框生成Polygon-Yolo目标检测网络。由于经典YOLO目标检测网络应用于无人机跑道着陆阶段着降区域检测识别时存在标签重写和锚点Anchor分配不平衡的问题。标签重写问题，是指在训练过程中由于两个目标太近而导致其中一个目标被重写而无法训练；Anchor分配不平衡问题，是指由于目标尺寸分布问题而导致某些尺度的特征层没有被充分利用，针对上述问题基于构建的四个角点预测框生成Polygon-Yolo目标检测网络，Polygon-Yolo目标检测网络主要包括骨架网络和特征融合层。骨架网络是去除了全连接层的Darknet-53网络，主要由Conv2D和Residual Block两种基本组件组合而成；特征融合层，使用hypercolumn技术，即超列集技术，通过超列集将多个特征层融合串联为一个特征层，一方面可以解决标签重写和anchor分配不平衡问题，另一方面减少了参数量，提高了网络性能。
步骤10：设计训练损失函数；对于跑道着陆阶段目标检测而言，因此需要将检测多边形的思想集成到目标检测网络中，将整个训练检测问题化为回归问题进行处理，其损失函数l可用公式表示为：
其中na是锚点Anchor的个数，l1(i,j)为对边界框中心预测的损失，l2(i,j)为对框的尺寸的损失，l3(i,j)是置信度损失；l4(i,j)是类预测损失，l5(i,j)是由距离、角度和顶点置信度预测组成的边界多边形的损失，qi,j表示系数，Gw表示预测框宽度方向样本数，Gh表示预测框高度方向样本数，两个求和符号表示遍历所有的预测框。
为了将预测框中心损失l1(i,j)和预测框尺寸l2(i,j)的损失约束到当前网格中，使用Sigmoid函数处理偏移量，使预测的偏移值保持在(0,1)范围内。根据目标框回归计算公式，预测框中心点坐标的偏移量保持在(-0.5,1.5)范围内。置信度损失l3(i,j)值越小表示该预测框越可靠，也表示越接近真实框。本发明中采用根据网格对应的预测框与真实框的目标检测回归损失函数CIOU(Complete Insection Over Union)作为该预测框的置信度标签，使用二元交叉熵函数来计算置信度损失，类预测损失l4(i,j)使用二元交叉熵函数来计算置信度损失；由距离、角度和顶点置信度预测组成的边界多边形损失l5(i,j)采用目标检测回归损失函数计算正样本的定位损失。
步骤11：识别跑道特征，即利用角点预测框构建Polygon-Yolo神经网络训练并检测跑道标志，包括跑道识别码、跑道中心线。
在无人机进入机场跑道范围时，通过多通道图像信息约束匹配测度着陆感兴趣，跟踪确定理想着降点，进入步骤12；
步骤12：跟踪识别跑道着降区域。完成跑道检测后，利用图像谱信息约束匹配算法识别跟踪跑道着降区域，确定理想着降点。在跑道图像中取定一个非边界点u，u的特征可以由u与其邻域点属性值间相互关系来确定，因此，可以利用图像谱信息来反映u的特征，即采用分层方法来构造u的谱特征，将邻域点按到u距离分为k层。
步骤121：获得跑道图像单一层的谱信息特征。考虑计算量，每一层计算8个邻域像素点xi到u距离ri＝|g(u)-g(xi)|,i＝1,2,...,8，函数g(x)为x点灰度值，构造赋权邻接矩阵A，
其中rj＝|g(u)-g(xj)|,j＝1,2,...,8，因为A是实对称矩阵，对A进行谱分解可获得8个实特征值λ1(u)，···，λ8(u)，利用实特征值作为点的特征描述，将(λ1(u)，···，λ8(u))作为u谱信息特征。
步骤122：提取u最终谱特征。由以上定义则第t层(1≤t≤k)获得谱特征可描述为：Ωt＝(λt1(u),λt2(u),···,λt8(u)),t＝1,2,···,k；在此基础上合并各层特征，获得最终谱信息特征其中·为2范数。
步骤123：基于跑道检测图像的谱信息特征，构建相似度匹配矩阵进行约束匹配，跟踪识别跑道着降区域。相似度匹配矩阵为cij＝||fI(ui)-fJ(vj)||,i,j＝1,2,···,s；其中fI(ui)为跑道图像I的谱信息特征，ui，i＝1,2,···,s为跑道图像I的s个特征点，fJ(vj)为跑道标准模板J的谱信息特征，vj，j＝1,2,···,s为跑道标准模板J的s个特征点，目标函数为为ui和vj匹配状况描述函数，匹配σij＝1；不匹配σij＝0。对目标函数求最优解即可确定匹配结果，以此匹配结果完成对跑道着降区域识别跟踪，即跟踪着降点。
为保证着降安全性，跑道着陆阶段需要准确掌握无人机着降姿态，利用多视角立体理论改进经典PnP算法，构建实时位姿解算模型，根据着降点检测结果与PnP位姿估计算法解算出跑道着降区域相对于无人机平台的三个自由度姿态角。
步骤13：跟踪跑道着降区域的理想着陆点，引入几何结构的多立体视角构建机载相机三维观测模型，建立观测图像与位姿参数之间关系。以跟踪着陆点为坐标原点Ow，沿着跑道中心延长线方向为Xw轴方向，垂直跑道平面方向为Zw方向构建跑道坐标系，则跑道面特征点Pi坐标可以描述为Pi(Xw,Yw,Zw)；以机载相机平面中心为坐标原点O，垂直机载相机平面指向机身纵首方向为Z方向，垂直地面方向为Y方向，跑道面特征点在机载相机图像坐标系下投影表示为pi(m,n)；无人机着降的位姿参数由外参矩阵决定，R为无人机三个方向旋转角度即航向角、横滚角和俯仰角，t为平移向量；相机观测模型为：
其中机载相机内参为fx,fy为机载相机坐标系焦距，cx,cy为像素中心点平移量，Zc为识别距离。为进一步简便计算将上式表述为：Pi＝T-1K-1Zcpi。
步骤14：采用PnP算法解算机载相机位姿参数，PnP算法的输入包括跑道面特征点Pi坐标即objectPoints，跑道面特征点在机载相机图像坐标系下投影pi的坐标即imagePoints，机载相机内参K即cameraMatrix和机载相机的畸变系数即distCoeffs；算法输出从世界坐标系到机载相机坐标系的旋转向量Rvec和平移向量Tvec。
如果两张图像中的一张特征点三维位置已知，那么至少需要3个点对(以及至少一个额外验证点验证结果)就可以计算机载相机的运动，每组真实世界三维坐标系到二维机载相机图像坐标系匹配点对应两个方程，一共有12个未知数，至少需要匹配6组匹配点，即可实现外参矩阵T＝[R|t]的线性求解。当匹配点数量大于6组时，可以使用矩阵奇异值SVD分解法求超定方程的最小二乘解，确定最终机载相机位姿数据。
步骤15：计算理想着陆点与机载相机之间相对位置关系。根据步骤13中跑道面特征点在机载相机图像坐标系下投影pi(m,n)及外参矩阵T＝[R|t]，可得到跑道面特征点Pi＝T-1K-1Zcpi，进一步得到着陆点在机载相机坐标下实际位置(CAx,CAy,CAz)，
[CAx,CAy,CAz]＝RPi+t
依据机载相机姿态经坐标旋转变换可得着陆点与机载相机之间相对距离ρi、方位θi和下滑角
ρi＝||RPi+t||2
步骤16：坐标转换，得到无人机机体姿态。由机载相机与机体坐标相对关系，经过坐标转换获得无人机机体相对跑道水平面的姿态角度。
步骤17：调整姿态，最终进近着陆。无人机飞控系统即可根据当前无人机姿态，调整自身姿态与飞行速度，使得飞行沿着理想下滑角安全着降，从而完成无人机滑跑降落过程，完成跑道降落任务。
为提高目标检测跟踪的鲁棒性和计算效率，本发明在传统算法基础上利用经典深度学习模型将目标检测的预测目标正锚框调整为预测目标四个角点，并引入多视角立体理论改进经典PnP算法，提高了实时解算的精准度。
附图说明
图1为本发明中基于视觉图像导引的无人机自主着降装置组成框图；
图2为本发明方法步骤图；
图3为机场采集图像及机场外围、机场内围、机场跑道示意图
图4为机场采集图像预处理前、后示意图；
图5为跟踪机场进近阶段图像感兴趣区域示意图；
图6为跑道检测图像谱信息特征与跑道标准模板匹配图；
图7为构建的机载相机三维观测模型图；
图8为PnP算法解算机载相机位姿参数图；
图9为模拟跑道着陆阶段无人机跟踪识别着陆点测试效果图。
具体实施方式
为使本发明的目的、技术方法以及优势更加明晰，下面将对本发明的内容进行进一步详细说明。
在本发明的一个具体实施例中，基于视觉图像导引的无人机自主着降装置组成框图如图1所示，包括：机载相机模块、视觉检测模块、控制指令解算模块以及监控显示模块，机载相机模块连续获取无人机前视实时图像，视觉检测模块对每帧实时无人机前视实时图像进行机场、跑道、跑道线的检测，并将飞机相对于检测结果的位姿信息传入控制指令解算模块，控制指令解算模块收到非空的机场标志物位置信息时，解算出无人航空器的期望姿态与期望速度，并将其发送给飞控系统，监控显示模块对原始图像、检测后图像、通过检测到的目标解算得来的位姿信息进行实时显示，地面用户可以实时监测整个装置的运行结果，并在必要的时候对导航任务进行调整。
通常当无人机需要着陆时，无人机先朝机场方向飞行，无人机的方位可以通过罗盘、导航机或者塔康等设备引导实现，然后无人机从远离机场处沿着理想下滑角进近着陆。当其它导航设备不可用时，特别时GNSS拒止条件下，使用无人机上自带的光电探头结合本发明方法即可实现自主着陆，具体方法步骤如图2所示。
具体无人机着降过程分为机场进近和跑道着陆两个阶段，机场进近阶段发生在无人机与跑道距离较远的位置，主要目标是发现和检测机场整体目标；跑道着陆阶段发生在无人机与跑道距离较近的位置，主要目标是跑道特征识别跟踪和位姿解算。
在本发明的一个具体实施例中。无人机先朝机场方向飞行，在距离机场跑道头6公里处沿着3°下滑角进近着陆，机载相机光轴方向与飞机纵轴机头方向为固定角度。
步骤1：采集机场图像；机载视觉传感器从无人机视角实时采集某模拟机场环境图像，如图3所示，其中左图为真实跑道图像，右图为模拟跑道图像。采集摄像头像素值：1920×1080，平均帧率30fps，机载视觉计算平台采用Nvidia Jetson Xavier NX，算力14TOPS，基于Linux操作系统进行视觉模块软件设计。
步骤2：预处理；采用相关滤波和图像分割算法，将采集的图像进行滤波降噪，剔除重复模糊的图像及背景，提取机场图像，如图4所示，其中左图为原始跑道图像，右图为处理后跑道图像。
步骤3：地平线检测；无人机机场进近阶段，地平线是一个很明显也很重要的特征，可以认为地平线的上半部分始终是天空，下半部始终是地面，确定地平线后只对地平线以下的部分处理，可以简化图像处理的工作。
步骤4：边缘检测和边界检测检测，直线提取识别跑道。随着无人机逐渐接近跑道，采集图像的跑道区域面积逐渐增大，图像中跑道形状从梯形向三角形过渡到矩形，但过渡过程中跑道边界始终具有很强的特征，它不随平移、旋转、缩放和透视而改变，在图像中始终为直线。根据这个特性，采用对跑道边缘检测和边界描述的方法跟踪感兴趣区域。对跑道边缘检测选用Canny算子，边界描述采用Hough变换描述，跟踪机场进近阶段图像感兴趣区域。跟踪机场进近阶段图像感兴趣区域示意图，如图5所示，其角点位于跑道端点。
步骤5：图像剔除处理；针对此时采集跑道着陆阶段图像，去除重复模糊的图像，保留N帧跑道着陆图像。无人机摄像头从多角度、多尺度采集着陆过程中的模拟跑道图像，去除重复的、过曝的、模糊的图像，保留500帧图像。
步骤6：构建语义分割的多边形预测框；此时跑道图像不太清晰不易识别，对每一帧图像角点检测提取跑道特征图，每个跑道特征图对应经过聚类和语义分割得到其尺度的多边形预测框，为提高检测效率，将经典目标检测的预测目标正锚框调整为预测目标四个角点。
步骤7：标注图像；引入语义分割多边形预测框标注保留的500帧图像，其中每个预测框有10个对应的数据，其中1个标注数据表示框内是否含有目标，4个数据用以存储框的位置信息，剩余5个数据表示目标条件类别概率，按照预测框对角顶点、目标类型编号和语义多边形顶点分类。
步骤8：生成训练集和验证集；对于标注完成的500帧机场图像，以随机划分的方式按9：1的比例选取450帧图像作为训练验证集，其余50帧图像作为测试集。同样的，在训练验证集中以随机划分的方式按8：1比例生成包含400帧图像的训练集和包含50帧图像的验证集。
步骤9：在经典YOLO目标检测网络基础上，基于构建的四个角点预测框生成Polygon-Yolo目标检测网络。构建的Polygon-yolov5目标检测网络，分为输入端，backbone，Neck和Head。backbone为New CSP-Darknet53。Neck层为SPFF和New CSP-PAN。Head层为Yolov3 head。
输入端采用Mosaic数据增强，参考CutMix数据增强方法，Mosaic数据增强由原来的两张图像提高到四张图像进行拼接，并对图像进行随机缩放，随机裁剪和随机排列。使用数据增强可以改善数据集中，小、中、大目标数据不均衡的问题。Backbone，Neck和Head由不同的blocks构成。Backbone由Conv卷积层模块、C3模块和SPPF模块三个模块组成，Conv卷积层由卷积，batch normalization和SiLu激活层组成。batch normalization具有防止过拟合，加速收敛的作用，SiLu激活层是Sigmoid加权线性组合。C3模块结构作用基本相同均为CSP架构，只是在修正单元的选择上有所不同，C3模块是对残差特征进行学习的主要模块，其结构分为两支，一支使用了上述指定多个Bottleneck堆叠，另一支仅经过一个基本卷积模块，最后将两支进行concat操作。SPPF由SPP改进而来，SPP先通过一个标准卷积模块将输入通道减半，然后分别做kernel-size为5，9，13的max pooling。对三次最大池化的结果与未进行池化操作的数据进行concat，最终合并后channel数是原来的2倍。SPPF(SpatialPyramid Pooling-Fast)使用3个5×5的最大池化，代替5×5、9×9、13×13最大池化，多个小尺寸池化核级联代替SPP模块中单个大尺寸池化核，从而在保留原有功能，即融合不同感受野的特征图，丰富特征图的表达能力的情况下，进一步提高了运行速度。
Neck部分主要采用了PANet结构，PANet在FPN(Feature Pyramid Network)上提取网络内特征层次结构，FPN中顶部信息流需要通过骨干网络(Backbone)逐层地往下传递，由于层数相对较多，因此计算量比较大。PANet在FPN的基础上又引入了一个自底向上的路径。经过自顶向下的特征融合后，再进行自底向上的特征融合，这样底层的位置信息也能够传递到深层，从而增强多个尺度上的定位能力。
Head对Neck中得到的不同尺度的特征图分别通过1×1卷积将通道数扩展，扩展后的特征通道数为(类数量+5)×每个检测层上的anchor数量。其中5分别对应的是预测框的中心点横坐标、纵坐标、宽度、高度和置信度，这里的置信度表示预测框的可信度，取值范围为(0,1)，值越大说明该预测框中越有可能存在目标。Head中的3个检测层分别对应Neck中得到的3种不同尺寸的特征图。特征图上的每个网格都预设了3个不同宽高比的anchor，可以在特征图的通道维度上保存所有基于anchor先验框的位置信息和分类信息，用来预测和回归目标。
步骤10：设计训练损失函数；对于跑道着陆阶段目标检测而言，因此需要将检测多边形的思想集成到目标检测网络中，将整个训练检测问题化为回归问题进行处理，其损失函数可用公式表示为：
为了将预测框中心损失l1(i,j)和预测框尺寸l2(i,j)的损失约束到当前网格中，使用Sigmoid函数处理偏移量，使预测的偏移值保持在(0,1)范围内。根据目标框回归计算公式，预测框中心点坐标的偏移量保持在(-0.5,1.5)范围内。置信度损失l3(i,j)值越小表示该预测框越可靠，也表示越接近真实框。本实施例中采用目标检测回归损失函数CIOU(Complete InsectionOverUnion)作为该预测框的置信度标签；使用二元交叉熵函数来计算置信度损失，类预测损失l4(i,j)使用二元交叉熵函数来计算置信度损失；由距离、角度和顶点置信度预测组成的边界多边形损失l5(i,j)采用目标检测回归损失函数CIOU计算正样本的定位损失。
步骤11：识别跑道特征；利用四个角点预测框构建Polygon-Yolo神经网络训练并检测跑道标志，包括跑道识别码、跑道中心线等，识别跑道特征。
步骤12：跟踪识别跑道着降区域。完成跑道检测后，利用谱信息约束匹配算法识别跟踪跑道着降区域，确定理想着降点。跑道图像中取定一个非边界点u，u的特征可以由u与其邻域点属性值间相互关系来确定，利用图像谱信息来反映u的特征，采用分层方法来构造u的谱特征，将邻域点按到u距离分为10层。具体为：
步骤121：定义跑道图像单一层的谱信息特征。考虑计算量，每一层计算8个邻域点xi按到v距离ri＝g(v)-g(xi),i＝1,2,...,8，函数g(x)为x点灰度值；依据距离构造赋权邻接矩阵A，
其中rj＝|g(u)-g(xj)|,j＝1,2,...,8，因为A是实对称矩阵，对A进行谱分解可获得8个实特征值λ1(u)，···，λ8(u)，利用特征值作为点的特征描述，将(λ1(u)，···，λ8(u))作为u谱信息特征。
步骤122：提取u最终谱特征。由以上定义则第t层(1≤t≤k)获得谱特征可描述为：Ωt＝(λt1(u),λt2(u),···,λt8(u)),t＝1,2,···,k；在此基础上合并各层特征，获得最终谱信息特征其中·为2范数。
步骤123：基于跑道检测图像的谱信息特征与跑道标准模板进行匹配，构建相似度匹配矩阵进行约束匹配，跟踪识别跑道着降区域。相似度匹配矩阵C定义为cij＝||fI(ui)-fJ(vj)||,i,j＝1,2,···,s；其中fI(ui)为跑道图像I的谱信息特征，ui，i＝1,2,···,s为跑道图像I的s个特征点，fJ(vj)为跑道标准模板J的谱信息特征，vj，j＝1,2,···,s为跑道标准模板J的s个特征点，设计目标函数，而σij为ui和vj为匹配状况描述函数，匹配σij＝1；不匹配σij＝0。对目标函数求最优解即可，确定匹配结果，以此匹配结果完成对跑道着降区域识别跟踪，即可跟踪着降点，匹配结果如图6所示，左图中着陆点已经标注；右图圆圈表示像素点，射线表示匹配线。
步骤13：基于跟踪跑道着降区域的理想着陆点，引入几何结构的多立体视角构建机载相机三维观测模型，如附图7所示，其中图a为飞机、机载相机以及跑道相对位置图，图b为构建的机载相机三维观测模型。
步骤14：采用PnP算法解算机载相机位姿参数。如图8所示，PnP算法输入包括跑道面特征点Pi坐标即objectPoints，跑道面特征点在机载相机图像坐标系下投影pi的坐标即imagePoints，机载相机内参K即cameraMatrix和机载相机的畸变系数即distCoeffs；算法输出为机载相机位姿参数，即从世界坐标系到机载相机坐标系的旋转向量Rvec和平移向量Tvec。
步骤15：计算理想着陆点与机载相机之间相对位置关系。根据步骤12输出的二维图像坐标pi(m,n)及步骤14中PnP算法得到的增广矩阵T＝[R|t]，可得到在着陆点与机载相机之间相对位置关系，即着陆点与机载相机之间相对距离ρi、方位θi和下滑角
步骤16：坐标转换，确定无人机机体姿态。基于机载相机标定时与机体坐标相对关系，即机载相机光轴方向与飞机纵轴机头方向之间的关系。经过坐标转换获得无人机机体相对跑道水平面的姿态角度。
步骤17：调整姿态，最终进近着陆。无人机飞控系统即可根据当前无人机姿态，调整飞行沿着3°理想下滑线安全着降，模拟跑道着陆阶段无人机跟踪识别着陆点各阶段测试效果如图9所示，其中图a为1500米距离，图b为500米距离，图c为100米距离，图d为10米距离，可以看出无人机均可准确跟踪、识别着陆点。
本发明方法从实际工程应用的角度出发，参考飞机进近着陆程序，将基于视觉图像导引的无人机自主着降划分为机场进近和跑道着陆两个阶段，将图像识别划分为机场外围即整个机场环境、机场内围即机场中包含跑道的区域、机场跑道即具体的跑道区域三个场景进近检测识别与跟踪，通过构建四个角点预测框生成Polygon-Yolo目标检测网络，进行深度学习模型训练和参数调整；克服了标签重写和锚点Anchor分配不平衡问题，在此基础上提出谱信息约束匹配的方式提高跑道特征识别准确度，精准跟踪定位理想着降点，同时引入PnP算法解算机载相机位姿参数，完成机体自由度参数解算。实施例中可以看出本发明方法在稳定性和精确度方面均可以满足无人机着降需求，因此本发明方法还可用于未知环境条件下有人/无人固定翼飞行器滑降着陆要求，实现依靠纯视觉条件下图像导引的进近着陆。
Claims (6)
1.一种基于视觉图像导引的无人机自主着降方法，包括：
步骤1：当无人机处于机场外围时，采集机场图像；
步骤2：图像预处理，即采用相关滤波和图像分割算法，将采集的机场图像进行滤波降噪，剔除重复模糊的图像及背景；
步骤3：地平线检测，即对机场进近阶段采集的预处理图像用Hough变换检测直线；
步骤4：使用边缘检测和边界检测检测，从直线提取识别跑道，即经过Canny算子边缘检测及Hough变换边界描述，得到当前帧的跑道边界位置；
步骤5：图像剔除处理，即对采集的跑道着陆阶段图像，去除重复模糊的图像，保留N帧跑道着陆图像；
步骤6：构建语义分割的多边形预测框，将跑道着陆图像经过聚类和语义分割得到跑道特征图；
步骤7：标注图像，即引入语义分割多边形预测框标注跑道特征图；
步骤8：生成训练集和验证集，即对于标注完成的跑道特征图，以随机划分的方式选取一部分图像作为训练验证集，剩余的图像作为测试集，并且在训练验证集中以随机划分的方式生成训练集和验证集；
步骤9：在经典YOLO目标检测网络基础上，基于构建的角点预测框生成Polygon-Yolo目标检测网络；
步骤10：设计训练损失函数；
步骤11：识别跑道特征，即利用Polygon-Yolo神经网络训练并检测跑道标志；
步骤12：跟踪识别跑道着降区域，确定理想着降点；
步骤13：跟踪跑道着降区域的理想着陆点，构建机载相机三维观测模型，建立观测图像与位姿参数之间关系；
步骤14：采用PnP算法解算机载相机位姿参数；
步骤15：计算理想着陆点与机载相机之间相对位置关系；
步骤16：坐标转换，得到无人机机体姿态，即由机载相机与机体坐标相对关系，经过坐标转换获得无人机机体相对跑道水平面的姿态角度；
步骤17：调整姿态，最终进近着陆,即无人机飞控系统根据当前无人机姿态，调整自身姿态与飞行速度，使得飞行沿着理想下滑角安全着降。
2.如权利要求1所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
步骤12包括：
步骤121：获得跑道图像单一层的谱信息特征，即在跑道图像中取定一个非边界点u，利用图像谱信息来反映u的特征；
步骤122：提取u最终谱特征；
步骤123：基于跑道检测图像的谱信息特征，构建相似度匹配矩阵进行约束匹配，跟踪识别跑道着降区域。
3.如权利要求2所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
步骤1中使用机载相机从无人机视角实时采集的未知机场环境图像，图片尺预设参考框优于416×416：
步骤3中对机场进近阶段采集的预处理图像用Hough变换检测直线，对所有检测到的直线计算代价函数：
其中e(xij)为：
其中f(x)为采集图像二值分割函数，xij表示像素点，像素点xij图像坐标为(ul,vw)，f(x)＝1表示像素点xij是机场目标，f(x)＝-1表示像素点xij是背景，α是一个正常数；
步骤6中将经典目标检测的预测目标正锚框调整为预测目标四个角点，得到跑道特征图；
步骤7中每个预测框有M个对应的数据，M为类数量，其中1个标注数据表示框内是否含有目标，4个数据用以存储框的位置信息，剩余M-5个数据表示目标条件类别概率，标注格式为：
(x1,y1,x2,y2,class,plx,ply,pnx,pny)
其中预测框对角顶点坐标为(x1,y1,x2,y2)，目标类型编号class,预测框语义分割的多边形对角顶点为(plx,ply,pnx,pny)
步骤10中损失函数l可用公式表示为：
其中na是锚点Anchor的个数，l1(i,j)为对边界框中心预测的损失，l2(i,j)为对框的尺寸的损失，l3(i,j)是置信度损失；l4(i,j)是类预测损失，l5(i,j)是由距离、角度和顶点置信度预测组成的边界多边形的损失，qi,j表示系数，Gw表示预测框宽度方向样本数，Gh表示预测框高度方向样本数，两个求和符号表示遍历所有的预测框；
步骤11中跑道标志，包括跑道识别码、跑道中心线；
步骤12中在跑道图像中取定一个非边界点u，采用分层方法来构造u的谱特征，将邻域点按到u距离分为k层；
步骤121中每一层计算8个邻域像素点xi到u距离ri＝|g(u)-g(xi)|,i＝1,2,...,8，函数g(x)为x点灰度值，构造赋权邻接矩阵A，
其中rj＝|g(u)-g(xj)|,j＝1,2,...,8，对A进行谱分解获得8个实特征值λ1(u)，···，λ8(u)，利用实特征值作为点的特征描述，将(λ1(u)，···，λ8(u))作为u谱信息特征；
步骤122中第t层(1≤t≤k)获得谱特征可描述为：Ωt＝(λt1(u),λt2(u),···,λt8(u)),t＝1,2,···,k；在此基础上合并各层特征，获得最终谱信息特征其中||·||为2范数；
步骤123中相似度匹配矩阵为cij＝||fI(ui)-fJ(vj)||,i,j＝1,2,···,s；其中fI(ui)为跑道图像I的谱信息特征，ui，i＝1,2,···,s为跑道图像I的s个特征点，fJ(vj)为跑道标准模板J的谱信息特征，vj，j＝1,2,···,s为跑道标准模板J的s个特征点，目标函数为σij为ui和vj匹配状况描述函数，匹配σij＝1；不匹配σij＝0；
步骤13中以跟踪着陆点为坐标原点Ow，沿着跑道中心延长线方向为Xw轴方向，垂直跑道平面方向为Zw方向构建跑道坐标系，则跑道面特征点Pi坐标可以描述为Pi(Xw,Yw,Zw)；以机载相机平面中心为坐标原点O，垂直机载相机平面指向机身纵首方向为Z方向，垂直地面方向为Y方向，跑道面特征点在机载相机图像坐标系下投影表示为pi(m,n)；无人机着降的位姿参数由外参矩阵决定，R为无人机三个方向旋转角度即航向角、横滚角和俯仰角，t为平移向量；机载相机观测模型为：
其中机载相机内参为fx,fy为机载相机坐标系焦距，cx,cy为像素中心点平移量，Zc为识别距离；
步骤14中PnP算法的输入包括跑道面特征点Pi坐标即objectPoints，跑道面特征点在机载相机图像坐标系下投影pi的坐标即imagePoints，机载相机内参K即cameraMatrix和机载相机的畸变系数即distCoeffs；算法输出从世界坐标系到机载相机坐标系的旋转向量Rvec和平移向量Tvec；使用矩阵奇异值SVD分解法求超定方程的最小二乘解，确定最终机载相机位姿数据；
步骤15中跑道面特征点Pi＝T-1K-1Zcpi，进一步得到着陆点在机载相机坐标下实际位置(CAx,CAy,CAz)，
[CAx,CAy,CAz]＝RPi+t
依据机载相机姿态经坐标旋转变换可得着陆点与机载相机之间相对距离ρi、方位θi和下滑角
ρi＝||RPi+t||2
4.如权利要求3所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
步骤1中采集摄像头像素值：1920×1080，平均帧率30fps，机载视觉计算平台采用Nvidia Jetson Xavier NX，算力14TOPS；
步骤7中引入语义分割多边形预测框标注保留的500帧图像，其中每个预测框有10个对应的数据，其中1个标注数据表示框内是否含有目标，4个数据用以存储框的位置信息，剩余5个数据表示目标条件类别概率，按照预测框对角顶点、目标类型编号和语义多边形顶点分类；
步骤8中对于标注完成的500帧机场图像，以随机划分的方式按9：1的比例选取450帧图像作为训练验证集，其余50帧图像作为测试集；在训练验证集中以随机划分的方式按8：1比例生成包含400帧图像的训练集和包含50帧图像的验证集；
步骤9中Polygon-Yolo目标检测网络为Polygon-yolov5目标检测网络，分为输入端，backbone，Neck和Head，backbone为New CSP-Darknet53，Neck层为SPFF和New CSP-PAN，Head层为Yolov3 head；
步骤10中采用目标检测回归损失函数CIOU(Complete Insection Over Union)作为该预测框的置信度标签；使用二元交叉熵函数来计算置信度损失，类预测损失l4(i,j)使用二元交叉熵函数来计算置信度损失；由距离、角度和顶点置信度预测组成的边界多边形损失l5(i,j)采用目标检测回归损失函数CIOU计算正样本的定位损失；
步骤11中将邻域点按到u距离分为10层。
5.如权利要求4所述的一种基于视觉图像导引的无人机自主着降方法，其特征在于：
步骤17中无人机沿着3°下滑角进近着陆。
6.一种使用如权利要求1所述方法的无人机自主着降装置，包括:机载相机模块、视觉检测模块、控制指令解算模块以及监控显示模块，机载相机模块连续获取无人机前视实时图像，视觉检测模块对每帧实时无人机前视实时图像进行机场、跑道、跑道线的检测，并将飞机相对于检测结果的位姿信息传入控制指令解算模块，控制指令解算模块收到非空的机场标志物位置信息时，解算出无人航空器的期望姿态与期望速度，并将其发送给飞控系统，监控显示模块对原始图像、检测后图像、通过检测到的目标解算得来的位姿信息进行实时显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311632901.8A CN117636284A (zh) | 2023-12-01 | 2023-12-01 | 一种基于视觉图像导引的无人机自主着降方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311632901.8A CN117636284A (zh) | 2023-12-01 | 2023-12-01 | 一种基于视觉图像导引的无人机自主着降方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117636284A true CN117636284A (zh) | 2024-03-01 |
Family
ID=90030065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311632901.8A Pending CN117636284A (zh) | 2023-12-01 | 2023-12-01 | 一种基于视觉图像导引的无人机自主着降方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117636284A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117930869A (zh) * | 2024-03-21 | 2024-04-26 | 山东智航智能装备有限公司 | 一种基于视觉的飞行装置着陆方法及装置 |
-
2023
- 2023-12-01 CN CN202311632901.8A patent/CN117636284A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117930869A (zh) * | 2024-03-21 | 2024-04-26 | 山东智航智能装备有限公司 | 一种基于视觉的飞行装置着陆方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113485441B (zh) | 结合无人机高精度定位和视觉跟踪技术的配网巡检方法 | |
| CN105930819B (zh) | 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统 | |
| EP2917874B1 (en) | Cloud feature detection | |
| US6952632B2 (en) | Method of guiding an aircraft in the final approach phase and a corresponding system | |
| Caraffi et al. | Off-road path and obstacle detection using decision networks and stereo vision | |
| He et al. | Non-cooperative spacecraft pose tracking based on point cloud feature | |
| CN107690840B (zh) | 无人机视觉辅助导航方法及系统 | |
| US9857178B2 (en) | Method for position and location detection by means of virtual reference images | |
| Salehi et al. | Automatic moving vehicles information extraction from single-pass WorldView-2 imagery | |
| CN103149939A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| CN104808685A (zh) | 用于无人机自主降落的视觉辅助装置及视觉辅助方法 | |
| Thurrowgood et al. | A vision based system for attitude estimation of UAVs | |
| RU2550811C1 (ru) | Способ и устройство определения координат объектов | |
| Xu et al. | A cascade adaboost and CNN algorithm for drogue detection in UAV autonomous aerial refueling | |
| Bao et al. | Vision-based horizon extraction for micro air vehicle flight control | |
| CN117636284A (zh) | 一种基于视觉图像导引的无人机自主着降方法及装置 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| CN108225273A (zh) | 一种基于传感器先验知识的实时跑道检测方法 | |
| CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
| Yuan et al. | High Speed Safe Autonomous Landing Marker Tracking of Fixed Wing Drone Based on Deep Learning | |
| CN112862862B (zh) | 基于人工智能视觉跟踪的飞机自主受油装置及应用方法 | |
| CN112560922B (zh) | 一种基于视觉的雾天飞机自主着陆方法及系统 | |
| Kim | Aerial map-based navigation using semantic segmentation and pattern matching | |
| Hu et al. | Airport Detection for Fixed-Wing Unmanned Aerial Vehicle Landing Using a Hierarchical Architecture | |
| Chen et al. | Emergency UAV Landing on Unknown Field Using Depth-Enhanced Graph Structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |