CN115393738A - 一种基于无人机的papi飞行校验方法和系统 - Google Patents

一种基于无人机的papi飞行校验方法和系统 Download PDF

Info

Publication number
CN115393738A
CN115393738A CN202110574002.1A CN202110574002A CN115393738A CN 115393738 A CN115393738 A CN 115393738A CN 202110574002 A CN202110574002 A CN 202110574002A CN 115393738 A CN115393738 A CN 115393738A
Authority
CN
China
Prior art keywords
papi
signal lamp
unmanned aerial
aerial vehicle
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110574002.1A
Other languages
English (en)
Inventor
李小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tianhua Aerospace Technology Co ltd
Original Assignee
Beijing Tianhua Aerospace Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tianhua Aerospace Technology Co ltd filed Critical Beijing Tianhua Aerospace Technology Co ltd
Priority to CN202110574002.1A priority Critical patent/CN115393738A/zh
Priority to PCT/CN2022/091004 priority patent/WO2022247597A1/zh
Publication of CN115393738A publication Critical patent/CN115393738A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于无人机的PAPI飞行校验方法和系统。所述方法包括：基于PAPI信号灯设备数据，生成飞行任务数据；启动具有摄像装置无人机按照所述飞行任务数据飞行，从所述无人机接收所述摄像装置拍摄的PAPI信号灯灯光的视频图像以及所述无人机的定位数据；根据所接收的PAPI信号灯灯光的视频图像以及所述无人机的定位数据，计算所述无人机相对于地面PAPI信号灯的方位和仰角数据，识别PAPI信号灯的位置和灯光颜色，对PAPI信号灯进行校验。本发明实施例实现了基于PAPI信号灯设备数据的飞行任务数据的自动生成及上传，使无人机在飞行校验过程中自动飞行，提高了校验精度，简化了无人机的操控难度，降低了安全风险。

Description

一种基于无人机的PAPI飞行校验方法和系统
技术领域
本发明属于无人机飞行校验领域，涉及一种基于无人机的PAPI飞行校验方法和系统。
背景技术
精密进近坡度指示器(Precision Approach Path Indicator，PAPI)安装于机场跑道一侧，由四盏独立的信号灯组成，为飞行员提供信息用于控制飞机的进近高度。精密进近坡度指示器的灯罩采用菲涅尔透镜，使得飞行员能够远距离观察到灯光。精密进近坡度指示器PAPI的工作原理是通过灯光颜色来指示进近过程中飞机的高度，如显示出两红两白(由左至右)就代表飞机进近时高度正确，其下滑角度为3°；显示为一白三红，代表飞机的下滑角度为2.8°，低于正常下滑角；显示为四红，代表飞机的下滑角已经低于2.5°，已经大幅低于正常下滑角；显示为四白，则代表飞机的下滑角度已经高于3.5°，大幅高于正常的下滑角。
现有技术中，对精密进近坡度指示器PAPI的校验通常采用飞行校验方式，飞行校验飞机水平飞行，由飞行员在飞行过程中观察灯光由红变白时刻触发事件，飞行校验装置根据触发事件时刻的飞机位置和精密进近坡度指示器PAPI的灯光地面坐标计算当前的仰角，并依此对精密进近坡度指示器PAPI的灯光角度进行校验检查，指导地面调整精密进近坡度指示器PAPI的灯光仰角达到符合标准规范的状态。
但是，由于有人机飞行速度快，飞行员对灯光颜色判断有一定的时间延迟，会影响精密进近坡度指示器PAPI的灯光校验精度。同时，飞行校验飞机体型较大，校验成本较高。
发明内容
为了解决上述在PAPI飞行校验过程中有人机精度低、成本高的技术问题，本发明提出了一种基于无人机的PAPI飞行校验方法和系统。
所述基于无人机的PAPI飞行校验方法包括：
基于PAPI信号灯设备数据，生成飞行任务数据；
启动具有摄像装置的无人机按照所述飞行任务数据飞行，从所述无人机接收所述摄像装置拍摄的地面的PAPI信号灯灯光的视频图像以及所述无人机的定位数据；
根据所接收的PAPI信号灯灯光的视频图像以及所述无人机的定位数据，计算所述无人机相对于地面的PAPI信号灯的方位和仰角数据，并且识别所述PAPI信号灯的位置和灯光颜色；
基于所述无人机相对于PAPI信号灯的方位和仰角数据，以及所述PAPI信号灯的位置和灯光颜色，对所述PAPI信号灯进行校验。
在一个实施例中，所述识别所述PAPI信号灯的位置，包括：逐帧分析所接收的PAPI信号灯灯光的视频图像，并利用计算机视觉的轮廓检测方法自动识别所述视频图像的视频帧中PAPI信号灯的位置。
在一个实施例中，所述利用计算机视觉的轮廓检测方法自动识别所述视频图像的视频帧中PAPI信号灯的位置，包括：针对每个视频帧，
检测视频帧中像素的亮度分布，取亮度均值和最高亮度值的平均值作为亮度门限，并基于所述亮度门限对视频帧进行二值化处理，其中，低于所述亮度门限的像素标记为黑色，高于所述亮度门限的像素标记为白色；
对视频帧进行形态学开操作以去除杂点；
通过查找轮廓得到视频帧中亮点的轮廓集合，用霍夫圆检测算法得到视频帧中的圆形图案；
基于四个PAPI信号灯灯光等距且并行排列，利用图像欧氏距离算法计算图像中圆形图案的距离特征，从而自动识别视频帧中PAPI信号灯的位置。
在一个实施例中，利用用于PAPI信号灯灯光颜色识别的卷积神经网络模型，对PAPI信号灯灯光颜色进行自动识别，提取PAPI信号灯灯光颜色变化的视频帧，得到PAPI信号灯灯光颜色变化时所对应的PAPI信号灯仰角，对PAPI信号灯进行校验，所述用于PAPI信号灯灯光颜色识别的卷积神经网络模型包括卷积层、池化层、归一化层、压平层和全连接层。
在一个实施例中，还包括构建用于PAPI信号灯灯光颜色识别的卷积神经网络模型步骤，如下：
在不同光照条件下，采集PAPI信号灯灯光图像；
识别所采集的PAPI信号灯灯光图像中PAPI信号灯的位置，提取单个PAPI信号灯灯光图像样本；
在提取的所述单个PAPI信号灯灯光图像样本中，标注PAPI信号灯的灯光颜色；
将标注后的所述单个PAPI信号灯灯光图像样本随机分成训练数据、测试数据和验证数据，利用训练数据对卷积神经网络模型进行训练，由测试数据和验证数据进行测试和验证，得到用于PAPI信号灯灯光颜色识别的卷积神经网络模型。
在一个实施例中，所述PAPI信号灯设备数据包含PAPI信号灯坐标、跑道出入口坐标和灯光角度；
所述飞行任务数据包括一个或多个飞行校验作业位置、在所述飞行校验作业位置处的爬升高度及速度；
所述无人机的定位数据包括无人机的经度、纬度和飞行高度。
在一个实施例中，所述基于PAPI信号灯设备数据生成飞行任务数据包括：
通过输入被测PAPI信号灯到跑道的五边延长线距离，自动生成从无人机当前位置到校验作业位置的航路点信息，并且依据所述被测PAPI信号灯到跑道的五边延长线距离及PAPI信号灯设备中的灯光角度信息，生成所述无人机在校验作业位置的爬升高度，
其中，所述五边延长线为跑道的出口到入口的中心线。
在一个实施例中，所述方法还包括：将所计算的方位和仰角数据实时发送至无人机，以调整无人机的机载相机云台，使得地面的PAPI信号灯灯光始终保持在摄像装置拍摄的PAPI信号灯灯光的视频图像的中心位置。
本发明还提供一种基于无人机的PAPI飞行校验系统，所述基于无人机的PAPI飞行校验系统，执行如上所述的方法。
本发明另外提供一种基于无人机的PAPI飞行校验系统，所述PAPI飞行校验系统包括无人机和地面控制单元，所述无人机具有摄像装置，所述地面控制单元包括飞行控制器、飞行校验装置和PAPI信号灯设备数据库，
所述无人机从所述地面控制单元的飞行控制器接收飞行任务数据和操作指令，所述无人机根据所述飞行任务数据飞行，在飞行校验作业位置，所述无人机的摄像装置拍摄PAPI信号灯灯光的视频图像，并将视频图像和所述无人机的定位数据传输给所述地面控制单元；
所述飞行控制器将从所述飞行校验装置接收的飞行任务数据和操作指令给所述无人机，以及从所述无人机接收所述摄像装置拍摄的PAPI信号灯灯光的视频图像以及无人机的定位数据，并将所接收的所述视频图像以及无人机的定位数据传输给所述飞行校验装置；
所述飞行校验装置基于PAPI信号灯设备数据库生成所述飞行任务数据，并将所述飞行任务数据传输给所述飞行控制器，以及根据所述飞行控制器接收所述视频图像以及无人机的定位数据，计算所述无人机相对于地面PAPI信号灯的方位和仰角数据，识别PAPI信号灯的位置和灯光颜色，对PAPI信号灯进行校验。
本发明实施例的基于无人机的PAPI飞行校验方法和系统相对于现有技术的优点在于：
(1)本发明实施例实现了基于PAPI信号灯设备数据的飞行任务数据的自动生成及上传，使得无人机在飞行校验过程中自动化飞行，提高了校验精度，简化了无人机的操控难度，降低了安全风险；
(2)本发明实施例实现了机载摄像装置的方位及仰角的实时自动控制，确保了无人机拍摄图像始终以PAPI信号灯为图像中心，提高了作业效率；
(3)本发明实施例依据PAPI信号灯的亮度、等距、平行等特点利用计算机视觉中的图像处理技术从背景复杂拍摄图像中提取出了PAPI信号灯灯光的图像；
(4)本发明实施例基于机器学习技术，利用大量标签图片数据训练出了可以精确敏锐识别PAPI信号灯灯光颜色的卷积神经网络数据模型，并应用此模型实现了PAPI信号灯灯光颜色的自动化识别，提高了PAPI信号灯校验效率。
附图说明
图1为本发明实施例提出的基于无人机的PAPI飞行校验系统的结构框图；
图2为本发明实施例提出的基于无人机的PAPI飞行校验方法的流程图；
图3为本发明实施例提出的基于无人机的PAPI飞行校验系统的PAPI信号灯灯光的视频图像处理流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。
本发明实施例提出了一种基于无人机的PAPI飞行校验系统，如图1所示，包括无人机和地面控制单元，所述无人机具有摄像装置，所述地面控制单元包括飞行控制器、飞行校验装置和PAPI信号灯设备数据库。
其中，本发明实施例从有人机校验系统中批量导出特定区域内的PAPI灯设备数据库，基于PAPI信号灯设备数据库，能够根据机场识别信息，自动检索出机场的PAPI设备信息，包含PAPI信号灯坐标、跑道出入口坐标、灯光角度等信息。
所述无人机从所述地面控制单元的飞行控制器接收飞行任务数据和操作指令，所述飞行任务数据包括一个或多个飞行校验作业位置、在所述飞行校验作业位置处的爬升高度及速度，所述操作指令例如是所述摄像装置的云台控制指令。所述无人机根据所述飞行任务数据飞行，在飞行校验作业位置，所述无人机的摄像装置拍摄PAPI信号灯灯光的视频图像，并将视频图像和所述无人机的经度、纬度、高度等定位数据传输给所述地面控制单元。
优选的，所述无人机为旋翼无人机，优选的选取性能优异易于操控的大疆M300RTK无人机，采取定点直上直下的方式，这样可以减少飞行时间，提高校验效率，以最少的飞行时间完成对PAPI信号灯灯光的视频采集；所述摄像装置选用30倍变焦的Z30云台相机。
所述飞行控制器用于远程地空数传图传数据链，将从所述飞行校验装置接收的飞行任务数据和操作指令给所述无人机，以及从所述无人机接收所述摄像装置拍摄的PAPI信号灯灯光的视频图像以及无人机的定位数据，并将所接收的所述视频图像以及无人机的定位数据传输给所述飞行校验装置。
所述飞行校验装置优选的为所述飞行校验装置，基于PAPI信号灯设备数据库生成所述飞行任务数据，并将所述飞行任务数据传输给所述飞行控制器。具体的，通过输入被测PAPI信号灯到跑道的五边延长线距离，自动生成从无人机当前位置到校验作业位置的航路点信息，并且依据所述被测PAPI信号灯到跑道的五边延长线距离及PAPI信号灯设备中的灯光角度信息，生成所述无人机在校验作业位置的爬升高度，其中，所述五边延长线为跑道的出口到入口的中心线。
所述飞行校验装置进一步根据所述飞行控制器接收所述视频图像以及无人机的定位数据，计算所述无人机相对于地面PAPI信号灯的方位和仰角数据，识别PAPI信号灯的位置和灯光颜色，对PAPI信号灯进行校验。
在优选实施例中，当无人机自动飞行至校验作业位置时，开始拍摄PAPI信号灯灯光视频，传输至飞行校验装置进行数据处理。在所述摄像装置的拍摄过程中，由于要拍出PAPI信号灯灯光角度的变化，需要在不同高度进行连续拍摄，此时，如果不调整摄像装置角度，PAPI信号灯灯光很容易从视频内容中滑出。如果用手动调节，由于焦距放大较大，且控制操作精度较低，经常出现花很多时间在图像中找PAPI信号灯灯光的情况，造成拍摄不连续以及效率低下问题。因此，本发明优选实施例中，通过实时获取无人机的定位数据，所述飞行校验装置计算所述无人机相对于地面PAPI信号灯的方位和仰角数据，并发送所述方位和仰角数据给无人机，自动调节摄像装置云台的姿态，使得PAPI信号灯灯光始终保持在所述摄像装置拍摄的视频图像的中心，提高了校验效率和拍摄视频质量，从而提高PAPI信号灯灯光角度的校验精度。
为了使得校验人员能够进行直观的观测，在所述飞行校验装置中，将所计算的无人机相对于地面PAPI信号灯的仰角数据叠加到所述摄像装置的拍摄图像中，以在所述飞行校验装置的显示屏上实时显示叠加所述仰角信息的拍摄图像。
在本发明实施例中，所述飞行校验装置针对收到的视频图像进行逐帧分析，利用计算机视觉的轮廓检测方法，自动识别出视频帧中PAPI信号灯的位置，利用经过单个PAPI信号灯灯光图像样本基于卷积神经网络机器学习算法训练的模型，对灯光颜色进行自动识别，进行PAPI信号灯的全自动校验。
其中，机器学习是一类算法的总称，这些算法从大量历史数据中挖掘出其中隐含的规律，并用于预测或者分类。更具体的说，机器学习可以看作是寻找一个函数，输入是样本数据，输出是期望的结果，只是这个函数过于复杂，以至于不太方便形式化表达。机器学习的目标是使学到的函数很好地适用于“新样本”。卷积神经网络(Convolutional NeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeural Networks)，是机器学习的常用算法之一，常于图像自动识别、语音识别等领域。本发明利用卷积神经网络进行PAPI信号灯灯光颜色的智能化识别。
具体的，利用计算机视觉的轮廓检测方法，自动识别出所述视频帧中PAPI信号灯的位置，并提取单个PAPI信号灯灯光图像样本。
为了实现PAPI信号灯灯光的颜色的自动识别，首先需要从所述视频帧中提取出PAPI信号灯灯光的位置及其图像。本发明实施例利用计算机视觉的轮廓检测方法对PAPI等进行了图像识别。由于PAPI信号灯灯光为有源光源，其在视频帧中的亮度是中等偏上的，因此，所述方法包括：首先，检测所述视频帧各像素的亮度分布，取亮度均值和最高亮度值的平均值作为亮度门限对所述视频帧进行二值化处理，低于所述亮度门限的像素标记为黑色，高于门限的像素标记为白色；其次，对视频帧进行形态学开操作以去除杂点；然后，通过查找轮廓，得到视频帧中亮点的轮廓集合，用霍夫圆检测算法得到视频帧中的圆形图案；最后，基于四个PAPI信号灯灯光等距且并行排列的位置属性，利用图像欧氏距离算法计算图像中圆形图案的距离特征，检测出视频帧中的PAPI信号灯位置及其图像坐标。
在本实施例中，构建的用于PAPI信号灯灯光颜色识别的卷积神经网络模型，利用大量标记的单个PAPI信号灯灯光图像样本对其进行训练。基于机器学习的卷积神经网络通过拟生物大脑皮层特殊设计的人工神经网络，经过对大量数据的训练、学习，可以从图像中提取到人眼不易检查到的图像特征，从而大大提高PAPI信号灯灯光颜色的识别精度，不受曝光时间、环境光线、灯光光晕等因素影响。利用所述卷积神经网络模型对视频帧中的PAPI信号灯位置上的灯光颜色进行自动识别，由此能够准确的识别灯光颜色，其是尤其是在灯光颜色变换(红色—白色)的过渡区域。
本发明实施例构建了由卷积层、池化层、归一化层、压平层、全连接层组成的多层卷积神经网络模型。其中，卷积层用于从输入的图像中提取特征参数，并用Relu函数作为该层的激活函数；池化层用于将特征图缩小；使用归一化层避免了梯度消失问题，经过压平层后，将参数输入全连接层进行判决。
通过无人机搭载摄像装置方式，分别在逆光、弱光、强光等不同的光照条件下获取到了5000张PAPI信号灯灯光图像，识别出图像中PAPI信号灯的位置，并提取出单个PAPI信号灯灯光图像样本，人工标注PAPI信号灯的灯光颜色——白或红；然后，将所提取的多个所述单个PAPI信号灯灯光图像样本随机分成训练数据、测试数据及验证数据，利用训练数据对卷积神经网络模型进行训练，由测试数据和验证数据进行测试和验证，得到了正确率高达0.9983的用于PAPI信号灯灯光颜色识别的卷积神经网络模型，并将模型进行保存。
在实际校验过程中，载入训练好的卷积神经网络模型，将拍摄图像中提取出的PAPI信号灯图像作为模型输入，从而预测灯光的颜色。经测试，其识别精度和灵敏度均优于人工判读。
以下，对本发明实施例的基于无人机的PAPI飞行校验系统的地面控制单元所执行的校验方法进行说明，如图2所示，所述基于无人机的PAPI飞行校验方法包括如下步骤：
S1：构建用于PAPI信号灯灯光颜色识别的卷积神经网络模型。
在不同光照条件下，采集PAPI信号灯灯光图像。如前所述，通过无人机搭载摄像装置方式，分别在逆光、弱光、强光等不同的光照条件下，对机场的PAPI信号灯灯光进行拍摄，采集5000张PAPI信号灯灯光图像。
例如利用计算机视觉的轮廓检测方法，识别所采集的PAPI信号灯灯光图像中PAPI信号灯的位置，提取单个PAPI信号灯灯光图像样本。
在提取的单个PAPI信号灯灯光图像样本中，标注PAPI信号灯的灯光颜色——白或红。
将标注后的单个PAPI信号灯灯光图像样本随机分成训练数据、测试数据和验证数据三个数据组，利用训练数据对卷积神经网络模型进行训练，由测试数据和验证数据进行测试和验证，得到了正确率高达0.9983的用于PAPI信号灯灯光颜色识别的卷积神经网络模型，并将模型进行保存。
S2：基于PAPI信号灯设备数据，生成飞行任务数据。
本发明实施例中，基于PAPI信号灯设备数据库生成所述飞行任务数据。其中，从有人机校验系统中批量导出特定区域内的PAPI灯设备数据库。所述飞行任务数据包括一个或多个飞行校验作业位置、在所述飞行校验作业位置处的爬升高度及速度，所述无人机根据所述飞行任务数据飞行，在飞行校验作业位置，所述无人机的摄像装置拍摄PAPI信号灯灯光的视频图像，并将视频图像和所述无人机的经度、纬度、高度等定位数据传输给所述地面控制单元。
基于PAPI信号灯设备数据库，能够根据机场识别信息，自动检索出机场的PAPI设备信息，包含PAPI信号灯坐标、跑道出入口坐标、灯光角度等信息。
具体的，通过输入被测PAPI信号灯到跑道的五边延长线距离，自动生成从无人机当前位置到校验作业位置的航路点信息，并且依据所述被测PAPI信号灯到跑道的五边延长线距离及PAPI信号灯设备中的灯光角度信息，生成所述无人机在校验作业位置的爬升高度，其中，所述五边延长线为跑道的出口到入口的中心线。
为安全起见，默认设置飞行到校验作业位置的高度为50米。在日常作业中，该高度可以有效避开机场的障碍物，安全抵达作业地点。对于PAPI信号灯灯光角度的校验，自动生成的航路点不在跑道延长线上，而是在与跑道方向平行的PAPI信号灯灯光延长线上，这样可以使得无人机正对着PAPI信号灯灯光，可以达到更合适的拍摄效果。
S3：启动具有摄像装置无人机按照飞行任务数据飞行，从所述无人机接收所述摄像装置拍摄的PAPI信号灯灯光的视频图像以及无人机的定位数据。
所述无人机的定位数据包括无人机的经度、纬度和飞行高度。
启动无人机进行飞行校验，无人机自动飞行至校验作业位置，通过摄像装置拍摄PAPI信号灯灯光的视频图像，并将所述视频图像以及无人机的定位数据传输至地面控制单元，地面控制单元接收所述视频图像以及无人机的定位数据。
S4：根据所接收的PAPI信号灯灯光的视频图像以及无人机的定位数据，计算所述无人机相对于地面PAPI信号灯的方位和仰角数据，识别PAPI信号灯的位置和灯光颜色，对PAPI信号灯进行校验。
具体的，针对所接收的PAPI信号灯灯光的视频图像进行逐帧分析，利用计算机视觉的轮廓检测方法，自动识别出视频帧中PAPI信号灯的位置。所述计算机视觉的轮廓检测方法包括：首先，检测所述视频帧各像素的亮度分布，取亮度均值和最高亮度值的平均值作为亮度门限对所述视频帧进行二值化处理，低于所述亮度门限的像素标记为黑色，高于门限的像素标记为白色；其次，对视频帧进行形态学开操作以去除杂点；然后，通过查找轮廓，得到视频帧中亮点的轮廓集合，用霍夫圆检测算法得到视频帧中的圆形图案；最后，依据四个PAPI信号灯灯光等距且并行排列的位置属性，利用图像欧氏距离算法计算图像中圆形图案的距离特征，检测出视频帧中的PAPI信号灯位置及其图像坐标。
利用所述用于PAPI信号灯灯光颜色识别的卷积神经网络模型，对PAPI信号灯灯光颜色进行自动识别，提取PAPI信号灯灯光颜色变化的视频帧，得到PAPI信号灯灯光颜色变化时所对应的PAPI信号灯仰角，对PAPI信号灯进行校验，同时将标注灯光颜色的视频帧另存成后处理视频文件以便查看和使用。
优选的，在此步骤中，将所计算的方位和仰角参数实时的发送至无人机，以调整无人机机载相机云台，使得地面PAPI信号灯灯光始终保持在摄像装置拍摄PAPI信号灯灯光的视频图像中心，从而提高了拍摄的精度和图像质量。
本发明实施例的无人机PAPI飞行校验系统的PAPI信号灯灯光的视频图像处理流程如图3所示。首先打开PAPI信号灯灯光的源视频文件，逐帧从视频文件中读取图像图像，然后根据图像中亮度分布，取亮度均值和最高亮度值的平均值作为亮度门限对图像进行二值化，低于门限的标记为黑色，高于门限的标记为白色；其次对图像进行形态学开操作以去除杂点；然后通过查找轮廓，得到图像中亮点的轮廓集合，并用霍夫圆检测算法得到图像中的圆形图案，最后依据四个PAPI信号灯灯光等距且并行排列的几何属性，利用图像欧氏距离算法计算图像中圆形图案的距离特征，检测出图像中的PAPI信号灯位置及其图像坐标。从原图像中提取出四个灯光图像，依次输入步骤1得到的经过训练的卷积神经网络模型进行灯光颜色智能识别，如果该灯光的颜色与前一帧颜色不同，则说明灯光发生变色，提取本视频帧作为该灯光的变色图像，图像中对应的仰角即为该灯光的仰角。如果在检测中圆形图案数量或距离约束不满足条件或者检测出的灯光颜色未发生变化，则跳过本帧继续读取下一帧直至视频文件末尾。
本发明实施例能够自动识别灯光颜色，经过大量数据训练得到的卷积神经网络模型可以准确判断出PAPI信号灯灯光颜色变化的帧。另外，经过本方法处理后的拍摄视频中，对灯光颜色进行了标注，并进行存档，形成灯光校验的历史记录。每次飞行校验中拍摄到的PAPI信号灯灯光视频图像，经过标注后，都可以加入PAPI信号灯灯光的样本库，利用步骤S1的方法对卷积神经网络模型进行重新训练，不断迭代出更加智能、识别准确度和鲁棒性更高的灯光颜色识别模型，从而实现机器学习模型的不断优化。
本发明实施例还提出一种基于无人机的PAPI飞行校验系统，执行如前所述的方法。
本发明实施例还提出一种存储介质，该存储介质中存储有执行如前所述方法的计算机程序。
本发明实施例还提出一种处理器，所述处理器运行执行如前所述方法的计算机程序。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无人机的PAPI飞行校验方法，其特征在于，包括：
基于PAPI信号灯设备数据，生成飞行任务数据；
启动具有摄像装置的无人机按照所述飞行任务数据飞行，从所述无人机接收所述摄像装置拍摄的地面的PAPI信号灯灯光的视频图像以及所述无人机的定位数据；
根据所接收的PAPI信号灯灯光的视频图像以及所述无人机的定位数据，计算所述无人机相对于地面的PAPI信号灯的方位和仰角数据，并且识别所述PAPI信号灯的位置和灯光颜色；
基于所述无人机相对于PAPI信号灯的方位和仰角数据，以及所述PAPI信号灯的位置和灯光颜色，对所述PAPI信号灯进行校验。
2.如权利要求1所述的PAPI飞行校验方法，其特征在于，所述识别所述PAPI信号灯的位置，包括：逐帧分析所接收的PAPI信号灯灯光的视频图像，并利用计算机视觉的轮廓检测方法自动识别所述视频图像的视频帧中PAPI信号灯的位置。
3.如权利要求2所述的PAPI飞行校验方法，其特征在于，所述利用计算机视觉的轮廓检测方法自动识别所述视频图像的视频帧中PAPI信号灯的位置，包括：针对每个视频帧，
检测视频帧中像素的亮度分布，取亮度均值和最高亮度值的平均值作为亮度门限，并基于所述亮度门限对视频帧进行二值化处理，其中，低于所述亮度门限的像素标记为黑色，高于所述亮度门限的像素标记为白色；
对视频帧进行形态学开操作以去除杂点；
通过查找轮廓得到视频帧中亮点的轮廓集合，用霍夫圆检测算法得到视频帧中的圆形图案；
基于四个PAPI信号灯灯光等距且并行排列，利用图像欧氏距离算法计算图像中圆形图案的距离特征，从而自动识别视频帧中PAPI信号灯的位置。
4.如权利要求1所述的PAPI飞行校验方法，其特征在于，利用用于PAPI信号灯灯光颜色识别的卷积神经网络模型，对PAPI信号灯灯光颜色进行自动识别，提取PAPI信号灯灯光颜色变化的视频帧，得到PAPI信号灯灯光颜色变化时所对应的PAPI信号灯仰角，对PAPI信号灯进行校验，所述用于PAPI信号灯灯光颜色识别的卷积神经网络模型包括卷积层、池化层、归一化层、压平层和全连接层。
5.如权利要求4所述的PAPI飞行校验方法，其特征在于，还包括构建用于PAPI信号灯灯光颜色识别的卷积神经网络模型步骤，如下：
在不同光照条件下，采集PAPI信号灯灯光图像；
识别所采集的PAPI信号灯灯光图像中PAPI信号灯的位置，提取单个PAPI信号灯灯光图像样本；
在提取的所述单个PAPI信号灯灯光图像样本中，标注PAPI信号灯的灯光颜色；
将标注后的所述单个PAPI信号灯灯光图像样本随机分成训练数据、测试数据和验证数据，利用训练数据对卷积神经网络模型进行训练，由测试数据和验证数据进行测试和验证，得到用于PAPI信号灯灯光颜色识别的卷积神经网络模型。
6.如权利要求1所述的PAPI飞行校验方法，其特征在于，
所述PAPI信号灯设备数据包含PAPI信号灯坐标、跑道出入口坐标和灯光角度；
所述飞行任务数据包括一个或多个飞行校验作业位置、在所述飞行校验作业位置处的爬升高度及速度；
所述无人机的定位数据包括无人机的经度、纬度和飞行高度。
7.如权利要求6所述的PAPI飞行校验方法，其特征在于，所述基于PAPI信号灯设备数据生成飞行任务数据包括：
通过输入被测PAPI信号灯到跑道的五边延长线距离，自动生成从无人机当前位置到校验作业位置的航路点信息，并且依据所述被测PAPI信号灯到跑道的五边延长线距离及PAPI信号灯设备中的灯光角度信息，生成所述无人机在校验作业位置的爬升高度，
其中，所述五边延长线为跑道的出口到入口的中心线。
8.如权利要求1所述的PAPI飞行校验方法，其特征在于，还包括：将所计算的方位和仰角数据实时发送至无人机，以调整无人机的机载相机云台，使得地面的PAPI信号灯灯光始终保持在摄像装置拍摄的PAPI信号灯灯光的视频图像的中心位置。
9.一种基于无人机的PAPI飞行校验系统，其特征在于，执行如权利要求1-8之一所述的方法。
10.一种基于无人机的PAPI飞行校验系统，其特征在于，所述PAPI飞行校验系统包括无人机和地面控制单元，所述无人机具有摄像装置，所述地面控制单元包括飞行控制器、飞行校验装置和PAPI信号灯设备数据库，
所述无人机从所述地面控制单元的飞行控制器接收飞行任务数据和操作指令，所述无人机根据所述飞行任务数据飞行，在飞行校验作业位置，所述无人机的摄像装置拍摄PAPI信号灯灯光的视频图像，并将视频图像和所述无人机的定位数据传输给所述地面控制单元；
所述飞行控制器将从所述飞行校验装置接收的飞行任务数据和操作指令给所述无人机，以及从所述无人机接收所述摄像装置拍摄的PAPI信号灯灯光的视频图像以及无人机的定位数据，并将所接收的所述视频图像以及无人机的定位数据传输给所述飞行校验装置；
所述飞行校验装置基于PAPI信号灯设备数据库生成所述飞行任务数据，并将所述飞行任务数据传输给所述飞行控制器，以及根据所述飞行控制器接收所述视频图像以及无人机的定位数据，计算所述无人机相对于地面PAPI信号灯的方位和仰角数据，识别PAPI信号灯的位置和灯光颜色，对PAPI信号灯进行校验。
CN202110574002.1A 2021-05-25 2021-05-25 一种基于无人机的papi飞行校验方法和系统 Pending CN115393738A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110574002.1A CN115393738A (zh) 2021-05-25 2021-05-25 一种基于无人机的papi飞行校验方法和系统
PCT/CN2022/091004 WO2022247597A1 (zh) 2021-05-25 2022-05-05 一种基于无人机的papi飞行校验方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110574002.1A CN115393738A (zh) 2021-05-25 2021-05-25 一种基于无人机的papi飞行校验方法和系统

Publications (1)

Publication Number Publication Date
CN115393738A true CN115393738A (zh) 2022-11-25

Family

ID=84114167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110574002.1A Pending CN115393738A (zh) 2021-05-25 2021-05-25 一种基于无人机的papi飞行校验方法和系统

Country Status (2)

Country Link
CN (1) CN115393738A (zh)
WO (1) WO2022247597A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115826622B (zh) * 2023-02-13 2023-04-28 西北工业大学 一种无人机群夜间协同定位方法
CN117606447B (zh) * 2023-09-25 2024-06-18 中国人民解放军61540部队 视场分割型航空面阵相机的试验场检校方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104483977B (zh) * 2014-10-11 2016-11-30 国家电网公司 一种舵机云台的无速度反馈动态面控制方法及控制器
CN105222807B (zh) * 2015-10-14 2017-10-13 中国民航大学 一种旋翼无人机精密进近航道指示器校验系统及校验方法
CN106813900B (zh) * 2017-01-12 2018-08-10 中国民用航空飞行校验中心 一种基于无人机技术的民用机场助航灯光飞行校验方法
EP3655324A4 (en) * 2017-07-21 2021-04-21 Sentien Robotics, Inc. UNPILOT AIR VEHICLE DEPLOYMENT AND RECOVERY SYSTEM
CN211055366U (zh) * 2019-09-27 2020-07-21 南昌航空大学 一种基于视觉识别的旋翼无人机校园巡逻系统
CN111027475A (zh) * 2019-12-09 2020-04-17 南京富士通南大软件技术有限公司 一种基于视觉的实时交通信号灯识别方法

Also Published As

Publication number Publication date
WO2022247597A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN105302151B (zh) 一种飞机入坞引导和机型识别的系统及方法
US20220197281A1 (en) Intelligent decision-making method and system for unmanned surface vehicle
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN108496129B (zh) 一种基于飞行器的设施检测方法及控制设备
WO2022247597A1 (zh) 一种基于无人机的papi飞行校验方法和系统
CN109344878B (zh) 一种基于ResNet的仿鹰脑特征整合小目标识别方法
CN111679695B (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
CN112348034A (zh) 基于无人机图像识别的起重机缺陷检测系统和工作方法
CN112327906A (zh) 一种基于无人机的智能自动巡检系统
CN106295695B (zh) 一种飞机起降过程自动追踪拍摄方法及装置
CN109063532A (zh) 一种基于无人机的野外失联人员搜寻方法
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
Suprapto et al. The detection system of helipad for unmanned aerial vehicle landing using yolo algorithm
CN110866548A (zh) 输电线路绝缘子红外智能匹配识别与测距定位方法及系统
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
Qi et al. Detection and tracking of a moving target for UAV based on machine vision
CN115471764A (zh) 一种输电通道隐患检测方法、系统、设备及存储介质
CN112862862B (zh) 基于人工智能视觉跟踪的飞机自主受油装置及应用方法
CN113449566B (zh) 人在回路的“低慢小”目标智能图像跟踪方法及系统
US20220406040A1 (en) Method and device for generating learning data for an artificial intelligence machine for aircraft landing assistance
CN114355083A (zh) 基于人工智能算法的巡检机器人故障识别方法、系统
CN114092522A (zh) 一种机场飞机起降智能捕获跟踪方法
CN111902851B (zh) 学习用数据生成方法、学习用数据生成装置以及学习用数据生成程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination