CN113138382B - 一种军民航机场全自动进近着陆监视方法 - Google Patents

一种军民航机场全自动进近着陆监视方法 Download PDF

Info

Publication number
CN113138382B
CN113138382B CN202110459372.0A CN202110459372A CN113138382B CN 113138382 B CN113138382 B CN 113138382B CN 202110459372 A CN202110459372 A CN 202110459372A CN 113138382 B CN113138382 B CN 113138382B
Authority
CN
China
Prior art keywords
target
tracking
landing gear
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110459372.0A
Other languages
English (en)
Other versions
CN113138382A (zh
Inventor
白俊奇
刘�文
石林
陈平
苗锋
孙宜斌
章林
朱伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202110459372.0A priority Critical patent/CN113138382B/zh
Publication of CN113138382A publication Critical patent/CN113138382A/zh
Application granted granted Critical
Publication of CN113138382B publication Critical patent/CN113138382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种军民航机场全自动进近着陆监视方法，用于满足飞机进近着陆阶段的可视化引导和全自动监视的用户需求，包括：1)获取目标的航迹和图像数据；2)根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；3)建立雷达、广播式自动相关监视系统目标跟踪通道模型；4)判断图像跟踪位置是否处于目标跟踪通道，若处于目标跟踪通道，继续跟踪；否则，返回步骤2；5)根据图像跟踪位置，计算目标区域，利用深度卷积神经网络识别目标起落架收放状态。

Description

一种军民航机场全自动进近着陆监视方法
技术领域
本发明属于多源信息处理技术领域，尤其涉及一种军民航机场全自动进近着陆监视方法。
背景技术
空中交通管制用于防止飞机与飞机相撞、飞机与障碍物相撞，实现维护和加快空中交通的有序流动的目的，包括塔台管制、进近管制和区域管制。区域管制保障航路飞行安全；塔台管制和进近管制主要保障飞机起降阶段的飞行安全。
目前，军民航机场主要以I类盲降系统进行配置，少数大型民航机场(首都机场、广州白云机场、上海浦东机场等)配置有II类盲降系统，主要包含指点信标、MLS(微波着陆系统)、ILS(仪表着陆系统)、TACAN(塔康)、着陆雷达(793、794)等。军航机场以国产设备为主，飞行员根据机载仪表指示(包括方位、下滑角等)进行飞行降落；塔台管制利用着陆雷达回波、VHF电台等手段进行语音引导指挥，管制员通过望远镜观察飞机降落阶段的飞行姿态、起落架的收放状态。现有机场进近着陆监视手段及系统存在以下缺点：(1)民航机场依靠广播式自动相关监视系统设备、军航机场依靠着陆雷达进行降落航线监视，监视手段单一、信息化和自动化水平不足；(2)管制员通过望远镜目视飞机降落阶段的飞行姿态、起落架的收放状态，值班压力大，系统显示不直观；(3)在不良天气条件中(例如雾霾、夜晚等能见度天气)，保障能力受限，增加了飞机的着陆风险。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种军民航机场全自动进近着陆监视方法，全自动监视飞机降落全过程，为塔台指挥员或飞行员提供精准的飞机着陆信息，最大程度保障飞机降落着陆安全，用于满足军民航机场飞机进近着陆阶段的可视化引导和全自动监视的用户需求。本发明方法具体包括如下步骤：包括如下步骤：
步骤1：获取目标的航迹数据和图像数据；
步骤2：根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；
步骤3：建立雷达、广播式自动相关监视系统目标跟踪通道模型；
步骤4：判断图像跟踪位置是否处于目标跟踪通道，如果处于目标跟踪通道，继续跟踪；否则，返回步骤2；
步骤5：根据图像跟踪位置，计算目标区域，利用深度卷积神经网络检测模型识别目标起落架收放状态。
步骤1包括：
所述目标的航迹数据包括雷达、广播式自动相关监视系统或光电设备提供的方位、俯仰和距离信息；所述图像数据是指光电设备提供的红外和可见光图像。
步骤2包括如下步骤：
步骤2-1：根据潜在目标的灰度特征、尺寸特征、角点特征，建立目标优先级模型，计算所有目标点的锁定优先级权重，选择锁定优先级权重最高目标进行自动锁定；
步骤2-2：构建图像特征匹配跟踪模型，对锁定目标进行高精度稳定跟踪。
步骤2-1包括：
利用canny分割算子计算潜在目标外接矩形框，基于潜在目标的灰度特征、尺寸特征和角点特征建立目标优先级模型，公式如下：
潜在目标的灰度特征计算公式如下：
Figure GDA0003267545730000021
其中，wGrayScale为潜在目标的灰度特征系数，G(x2,y2)为像素点灰度值，x2,y2为图像坐标位置，x0、y0为潜在目标区域起始坐标，x1、y1为潜在目标区域结束坐标；
潜在目标的尺寸特征计算公式如下：
Figure GDA0003267545730000022
其中，wsize为尺寸特征系数，Rratio为默认目标最佳宽高比；
潜在目标的角点特征：基于目标区域寻找面向快速和旋转的BRIEF即ORB(Oriented FAST and Rotated BRIEF，ORB：An Efficient Alternative to SIFT orSURF，http://www.willowgarage.com/sites/default/files/orb_final.pdf)角点，基于如下公式计算所述潜在检测目标的角点特征系数值wCornerPoint：
Figure GDA0003267545730000031
其中，Pn为ORB角点个数，Pmax为目标最多有效角点数；
目标优先级模型如下：
w＝w1·wGrayScale+w2·wSize+w3·wCornerPoint
其中，w为锁定优先级权重，w1、w2和w3为权重比例，计算所有潜在目标点的锁定优先级权重，选择锁定优先级权重最高，即w最大的潜在目标为锁定目标进行自动锁定。
步骤2-2包括：
在基于锁定优先级权重选定锁定目标后，目标外接矩形为跟踪模板，构建图像多特征匹配跟踪模型，通过跟踪模板逐帧匹配对锁定目标进行跟踪：
模板匹配时，计算跟踪模板和匹配区域的相似程度，以最相似位置为匹配点，采用以下的匹配准则作为T(i,j)和f(i,j)的相似性测度：
Figure GDA0003267545730000032
其中，d(xc,yc)为目标跟踪偏差，T(i,j)为跟踪模板中i行j列像素值，f(i,j)为匹配区域像素值，(xc,yc)为跟踪模板在待匹配图像中的偏移值，N为跟踪模板的宽度，M为跟踪模板的长度，T(i,j)、f(i,j)、(xc,yc)三个测度均在d(xc,yc)取最小值时得到最佳匹配位置，目标逐帧跟踪偏差即为d(xc,yc)取最小值时的xc,yc值，依次得到每一帧目标位置(xp,yp)，其中p代表第p帧。
步骤3包括如下步骤：
步骤3-1：分别建立雷达、广播式自动相关监视系统多机型圆柱形跟踪通道模型，通道切面定义为：
(x-a)2+(y-b)2＝r2
其中，(x,y)是当前跟踪位置坐标，(a,b)是历史通道中心坐标，r是历史通道半径；
步骤3-2：基于信号时空强相关特征，通道切面更新为：
Figure GDA0003267545730000044
其中，中间参数a1、b1、r1分别定义为：
Figure GDA0003267545730000041
Figure GDA0003267545730000042
Figure GDA0003267545730000043
其中，(a1,b1)是当前通道中心坐标，r1是当前通道半径，Num是相关系数。
步骤4包括如下步骤：
步骤4-1：按照广播式自动相关监视系统、雷达优先级顺序确定目标跟踪通道：
a＝a1，
b＝b1，
r＝r1；
步骤4-2：判断图像跟踪位置是否处于目标跟踪通道，如果是，继续跟踪；否则，返回步骤2：
当(x-a)2+(y-b)2>r2，则图像跟踪位置在目标跟踪通道外。
当(x-a)2+(y-b)2＝r2，则图像跟踪位置在目标跟踪通道上。
当(x-a)2+(y-b)2＜r2，则图像跟踪位置在目标跟踪通道内。
步骤5包括如下步骤：
步骤5-1：通过目标特征分割算法计算飞机区域；
步骤5-2：构建起落架训练样本库，建立深度卷积神经网络检测模型，对目标起落架收放状态进行智能识别。
步骤5-1包括：
通过目标区域分割提取出飞机机体，将飞机机体外接矩形部分作为起落架识别的重点区域执行后续处理，目标区域分割是采用canny边缘算子，围绕当前第p帧(xp,yp)周边区域执行边缘提取获取外接矩形框(xb,yb,Widthb,Heightb)，其中xb,yb为外接矩形框左上点坐标，Widthb为矩形框宽度，Heightb为矩形框高度；最终用于起落架识别区域为(xr,yr,Widthr,Heightr)，其中，xr,yr为所述待识别区域左上角在图像中的坐标位置，Widthr，Heightr分别为所述待识别区域的宽度和长度，通过以下公式计算：
Figure GDA0003267545730000051
Figure GDA0003267545730000052
Figure GDA0003267545730000053
Heightr＝Heightb；
步骤5-2包括：构建起落架训练样本库，基于历史数据对飞机起落架区域进行标注，标注类别为前起落架、左右侧起落架两个类别，标注时包含起落架的外接矩形坐标、宽、高以及类别标签；积累两张以上标注样本形成起落架训练样本库；
采用深度卷积神经网络检测模型，即YOLOV3模型对起落架训练样本库中的样本进行训练，设置类别为2，即前起落架、左右侧起落架两个类别，调整学习率，基于起落架训练样本库进行训练，在模型收敛后停止；最后通过训练得到收敛的YOLOV3模型，将步骤5-1得到的(xr,yr,Widthr,Heightr)区域对应图片输入YOLOV3模型中，进行起落架检测，从而得到精确的前起落架、左右侧起落架位置，以及外接矩形，并通过起落架检测情况判断飞机起落架收放状态；如果检测到两个左右侧起落架、一个前起落架则认为飞机起落架均放下，否则进行告警或提示。
本发明还提供了军民航机场全自动进近着陆监视系统，包括信息获取设备、数据处理设备和显示控制设备三部分。信息获取设备由雷达、光电、广播式自动相关监视系统、信号转换与传输设备(含红外SDI图像采集卡、可见光SDI图像采集卡、以太网卡、光纤收发器)组成，分别获取雷达、光电、广播式自动相关监视系统设备的航迹数据和光电设备的图像数据，其中，航迹数据通过以太网发生到数据处理设备和显示控制设备；图像数据经光纤收发器进行光电转换将电信号转换为光信号，发送到数据处理设备和显示控制设备；数据处理设备由图像处理工作站、数据处理工作站、信号转换与传输设备组成(含SDI图像采集卡、以太网卡、光纤收发器)，通过以太网接收航迹数据；通过光纤收发器进行光电转换将光信号转换为电信号，利用SDI图像采集卡接收图像数据；显示控制设备由显示控制工作站、显示屏、信号转换与传输设备组成(含SDI图像采集卡、以太网卡、光纤收发器)，通过以太网接收航迹数据；通过光纤收发器进行光电转换将光信号转换为电信号，利用SDI图像采集卡接收图像数据。
本发明与现有技术和系统相比，显著优点是：全自动运行，能够自动引导、自动锁定目标并跟踪、自动计算下滑道偏差和识别起落架收放状态；融合雷达、广播式自动相关监视系统、光电等多源信息，形成统一的目标态势信息；显示直观和清晰，系统根据目标距离远近，利用红外热像仪和可见光摄像机进行自动高倍连续变焦，在远近距离均可清晰地看清飞行姿态、起落架收放状态；在不良天气条件中(例如雾霾、夜晚等能见度天气)，能够清晰监视飞机降落的全过程。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明工作流程图。
图2是本发明架构图。
图3a是本发明输入的光电图像数据。
图3b是经本发明处理后的起落架识别结果。
具体实施方式
如图1、图2所示，本发明提供了一种军民航机场全自动进近着陆监视方法，包括如下步骤：
(1)获取目标的航迹和光电图像数据，如图3a所示；
雷达目标的航迹数据具体包括方位、俯仰、距离和二次代码；
广播式自动相关监视系统设备输出经度、纬度、高度、二次代码(5707)和目标地址码信息(FF085D91)，通过地理坐标转球坐标，获得目标的航迹数据，具体包括方位、俯仰、距离信息二次代码5707；
光电设备目标的航迹数据具体包括方位、俯仰、距离、尺寸、灰度等信息。
(2)根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；
(a)目标自动锁定
自动锁定策略利用canny分割算子计算潜在目标1外接矩形框(120,345,64,28)、潜在目标2外接矩形框(273,254,14,67)两个潜在目标，基于潜在目标灰度、尺寸和角点等特征建立目标优先级模型，
潜在目标灰度特征：
潜在目标1灰度特征
Figure GDA0003267545730000071
潜在目标2灰度特征
Figure GDA0003267545730000072
潜在目标尺寸特征，Rratio为默认目标最佳宽高比，设为2.5：
Figure GDA0003267545730000073
潜在目标角点特征，基于潜在目标区域寻找ORB角点，Pmax设置为8，潜在目标1角点数为5，潜在目标2角点数为1，角点特征系数值：
Figure GDA0003267545730000074
w1、w2和w3为固定值分别设为1,0.5,1.5，优先级计算如下：
w1＝1·0.324+0.5·5+1.5·0.625＝3.76
w2＝1·0.107+0.5·1.4+1.5·0.125＝0.99
潜在目标1权重高于潜在目标2权重，选定潜在目标1进行自动锁定。
(b)图像特征匹配跟踪
在基于优先级选定锁定目标后，通过潜在目标外接矩形建立跟踪模板，构建图像特征匹配跟踪模型，通过跟踪模板逐帧匹配对锁定目标进行高精度稳定跟踪。依次得到每一帧目标位置(xp,yp)，其中第2028帧时目标位置为(152,359)。
(3)建立雷达、广播式自动相关监视系统目标跟踪通道模型；
(a)分别建立雷达、广播式自动相关监视系统多机型圆柱形跟踪通道模型，通道切面定义为：
(x-a)2+(y-b)2＝r2
其中，(x,y)＝(237.6,3.56)是当前跟踪位置，单位是角度，(a,b)＝(237,3)是历史通道中心，单位是角度，r是历史通道半径为0.8度，单位是角度。
(b)通道切面更新为：
Figure GDA0003267545730000083
其中，a1、b1、r1分别定义为：
Figure GDA0003267545730000081
Figure GDA0003267545730000082
Figure GDA0003267545730000091
其中，(x,y)＝(237.6,3.56)是当前跟踪位置，单位是角度，(a,b)＝(237,3)是历史通道中心，单位是角度，r是历史通道半径为0.8度，单位是角度，(a1,b1)是当前通道中心，单位是角度，r1是当前通道半径，单位是角度，Num＝100。
(4)判断图像跟踪位置是否处于目标跟踪通道，若处于目标跟踪通道，继续跟踪；否则，返回步骤2；
(a)按照广播式自动相关监视系统、雷达优先级顺序确定目标跟踪通道。
a＝a1
b＝b1
r＝r1
其中，(a,b)是历史通道中心，r是历史通道半径，(a1,b1)是当前通道中心，r1是当前通道半径。
(b)判断图像跟踪位置处于目标跟踪通道，继续跟踪；否则，返回步骤2。
当(x-a)2+(y-b)2＞r2，则图像跟踪位置在目标跟踪通道外。
当(x-a)2+(y-b)2＝r2，则图像跟踪位置在目标跟踪通道上。
当(x-a)2+(y-b)2＜r2，则图像跟踪位置在目标跟踪通道内。
(5)根据图像跟踪位置，计算目标区域，利用深度卷积神经网络识别目标起落架收放状态。
(a)确认目标区域
确认目标区域主要是通过图像目标分割算法提取出飞机机体，将飞机机体外接矩形部分作为起落架识别的重点区域执行后续处理，目标区域分割主要是采用canny边缘算子，围绕当前2028帧周边区域执行边缘提取获取外接矩形框为(118,349,60,29)，最终用于起落架识别区域为(xr,yr,Widthr,Heightr)，通过以下公式计算：
Figure GDA0003267545730000101
Figure GDA0003267545730000102
Figure GDA0003267545730000103
Heightr＝29
得到实际区域为(133,364,30,29)。
(b)深度学习方法识别起落架
构建起落架训练样本库，基于历史数据对飞机起落架区域进行人工标注，标注类别为前起落架、左右侧起落架两个类别，标注时包含起落架的外接矩形坐标、宽、高以及类别标签。积累2000张以上标注样本形成样本库。采用深度卷积神经网络检测模型YOLOV3模型对样本进行训练，设置类别为2，即前起落架、左右侧起落架两个类别，调整学习率等参数基于样本库进行训练，在模型收敛后停止。最后通过训练得到收敛的YOLOV3模型，将5-1步中的(133,364,30,29)区域对应图片输入YOLOV3网络模型中，进行起落架检测，从而得到精确的前起落架、左右侧起落架位置，以及外接矩形，并通过起落架检测情况判断飞机起落架收放状态，如图3b所示。检测到两个左右侧起落架、一个前起落架，认为飞机起落架均放下。
本发明提供了一种军民航机场全自动进近着陆监视方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种军民航机场全自动进近着陆监视方法，其特征在于，包括如下步骤：
步骤1：获取目标的航迹数据和图像数据；
步骤2：根据航迹数据，引导光电设备自动锁定目标，基于图像数据开始实时高精度跟踪；
步骤3：建立雷达、广播式自动相关监视系统目标跟踪通道模型；
步骤4：判断图像跟踪位置是否处于目标跟踪通道，如果处于目标跟踪通道，继续跟踪；否则，返回步骤2；
步骤5：根据图像跟踪位置，计算目标区域，利用深度卷积神经网络检测模型识别目标起落架收放状态；
步骤1包括：
所述目标的航迹数据包括雷达、广播式自动相关监视系统或光电设备提供的方位、俯仰和距离信息；所述图像数据是指光电设备提供的红外和可见光图像；
步骤2包括如下步骤：
步骤2-1：根据潜在目标的灰度特征、尺寸特征、角点特征，建立目标优先级模型，计算所有目标点的锁定优先级权重，选择锁定优先级权重最高目标进行自动锁定；
步骤2-2：构建图像特征匹配跟踪模型，对锁定目标进行高精度稳定跟踪；
步骤2-1包括：
利用canny分割算子计算潜在目标外接矩形框，基于潜在目标的灰度特征、尺寸特征和角点特征建立目标优先级模型，公式如下：
潜在目标的灰度特征计算公式如下：
Figure FDA0003267545720000011
其中，wGrayScale为潜在目标的灰度特征系数，G(x2,y2)为像素点灰度值，x2,y2为图像坐标位置，x0、y0为潜在目标区域起始坐标，x1、y1为潜在目标区域结束坐标；
潜在目标的尺寸特征计算公式如下：
Figure FDA0003267545720000012
其中，wsize为所述潜在目标尺寸特征系数，Rratio为默认目标最佳宽高比；
潜在目标的角点特征：基于目标区域寻找ORB角点，基于如下公式计算所述潜在检测目标的角点特征系数值wCornerPoint：
Figure FDA0003267545720000021
其中，Pn为orb角点个数，P max为目标最多有效角点数；
目标优先级模型如下：
w＝w1·wGrayScale+w2·wSize+w3·wCornerPoint
其中，w为锁定优先级权重，w1、w2和w3为权重比例，计算所有潜在目标点的锁定优先级权重，选择锁定优先级权重最高，即w最大的潜在目标为锁定目标进行自动锁定。
2.根据权利要求1所述的方法，其特征在于，步骤2-2包括：
在基于锁定优先级权重选定锁定目标后，目标外接矩形为跟踪模板，构建图像多特征匹配跟踪模型，通过跟踪模板逐帧匹配对锁定目标进行跟踪：
模板匹配时，计算跟踪模板和匹配区域的相似程度，以最相似位置为匹配点，采用以下的匹配准则作为T(i，j)和f(i，j)的相似性测度：
Figure FDA0003267545720000022
其中，d(xc，yc)为目标跟踪偏差，T(i，j)为跟踪模板中i行j列像素值，f(i，j)为匹配区域像素值，(xc，yc)为跟踪模板在待匹配图像中的偏移值，N为跟踪模板的宽度，M为跟踪模板的长度，T(i，j)、f(i，j)、(xc，yc)三个测度均在d(xc，yc)取最小值时得到最佳匹配位置，目标逐帧跟踪偏差即为d(xc，yc)取最小值时的xc，yc值，依次得到每一帧目标位置(xp，yp)，其中p代表第p帧。
3.根据权利要求2所述的方法，其特征在于，步骤3包括如下步骤：
步骤3-1：分别建立雷达、广播式自动相关监视系统多机型圆柱形跟踪通道模型，通道切面定义为：
(x-a)2+(y-b)2＝r2
其中，(x，y)是当前跟踪位置坐标，(a，b)是历史通道中心坐标，r是历史通道半径；
步骤3-2：基于信号时空强相关特征，通道切面更新为：
Figure FDA0003267545720000031
其中，中间参数a1、b1、r1分别定义为：
Figure FDA0003267545720000032
Figure FDA0003267545720000033
Figure FDA0003267545720000034
其中，(a1，b1)是当前通道中心坐标，r1是当前通道半径，Num是相关系数。
4.根据权利要求3所述的方法，其特征在于，步骤4包括如下步骤：
步骤4-1：按照广播式自动相关监视系统、雷达优先级顺序确定目标跟踪通道：
a＝a1，
b＝b1，
r＝r1；
步骤4-2：判断图像跟踪位置是否处于目标跟踪通道，如果是，继续跟踪；否则，返回步骤2：
当(x-a)2+(y-b)2＞r2，则图像跟踪位置在目标跟踪通道外；
当(x-a)2+(y-b)2＝r2，则图像跟踪位置在目标跟踪通道上；
当(x-a)2+(y-b)2＜r2，则图像跟踪位置在目标跟踪通道内。
5.根据权利要求4所述的方法，其特征在于，步骤5包括如下步骤：
步骤5-1：通过目标特征分割算法计算飞机区域；
步骤5-2：构建起落架训练样本库，建立深度卷积神经网络检测模型，对目标起落架收放状态进行智能识别。
6.根据权利要求5所述的方法，其特征在于，步骤5-1包括：
通过目标区域分割提取出飞机机体，将飞机机体外接矩形部分作为起落架识别的重点区域执行后续处理，目标区域分割是采用canny边缘算子，围绕当前第p帧(xp，yp)周边区域执行边缘提取获取外接矩形框(xb，yb，Widthb，Heightb)，其中xb，yb为外接矩形框左上点坐标，Widthb为矩形框宽度，Heightb为矩形框高度；最终用于起落架待识别区域为(xr，yr，Widthr，Heightr)，其中，xr，yr为所述待识别区域左上角在图像中的坐标位置，Widthr，Heightr分别为所述待识别区域的宽度和长度，通过以下公式计算：
Figure FDA0003267545720000041
Figure FDA0003267545720000042
Figure FDA0003267545720000043
Heightr＝Heightb；
步骤5-2包括：构建起落架训练样本库，基于历史数据对飞机起落架区域进行标注，标注类别为前起落架、左右侧起落架两个类别，标注时包含起落架的外接矩形坐标、宽、高以及类别标签；积累两张以上标注样本形成起落架训练样本库；
采用深度卷积神经网络检测模型，即YOLOV3模型对起落架训练样本库中的样本进行训练，设置类别为2，即前起落架、左右侧起落架两个类别，调整学习率，基于起落架训练样本库进行训练，在模型收敛后停止；最后通过训练得到收敛的YOLOV3模型，将步骤5-1得到的(xr,yr,Widthr,Heightr)区域对应图片输入YOLOV3模型中，进行起落架检测，从而得到精确的前起落架、左右侧起落架位置，以及外接矩形，并通过起落架检测情况判断飞机起落架收放状态；如果检测到两个左右侧起落架、一个前起落架则认为飞机起落架均放下，否则进行告警或提示。
CN202110459372.0A 2021-04-27 2021-04-27 一种军民航机场全自动进近着陆监视方法 Active CN113138382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110459372.0A CN113138382B (zh) 2021-04-27 2021-04-27 一种军民航机场全自动进近着陆监视方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110459372.0A CN113138382B (zh) 2021-04-27 2021-04-27 一种军民航机场全自动进近着陆监视方法

Publications (2)

Publication Number Publication Date
CN113138382A CN113138382A (zh) 2021-07-20
CN113138382B true CN113138382B (zh) 2021-11-02

Family

ID=76812280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110459372.0A Active CN113138382B (zh) 2021-04-27 2021-04-27 一种军民航机场全自动进近着陆监视方法

Country Status (1)

Country Link
CN (1) CN113138382B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2138956A1 (en) * 2008-06-23 2009-12-30 Raytheon Company Adaptive match metric selection for automatic target recognition
CN105810023A (zh) * 2016-05-16 2016-07-27 福建福光股份有限公司 机场起落架收放自动监测系统及方法
CN106548534A (zh) * 2015-08-21 2017-03-29 波音公司 用于报告飞机的状态信息的方法及设备
CN107924196A (zh) * 2015-07-16 2018-04-17 赛峰电子与防务公司 用于自动辅助航空器着陆的方法
CN109614864A (zh) * 2018-11-06 2019-04-12 南京莱斯电子设备有限公司 一种地基视角多机型飞机起落架收放状态检测方法
CN111204468A (zh) * 2018-11-22 2020-05-29 塔莱斯公司 用于在能见度降低的状况下的飞行器着陆辅助的装置和方法
CN111209927A (zh) * 2018-11-22 2020-05-29 塔莱斯公司 用于辅助飞行器着陆的嵌入在飞行器中的神经网络的学习方法以及用于实施该方法的服务器
CN112380997A (zh) * 2020-11-16 2021-02-19 武汉巨合科技有限公司 基于深度学习的机型识别和起落架收放检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2835314B1 (fr) * 2002-01-25 2004-04-30 Airbus France Procede de guidage d'un aeronef en phase finale d'atterrissage et dispositif correspondant
FR3054357B1 (fr) * 2016-07-21 2022-08-12 Airbus Operations Sas Procede et dispositif de determination de la position d'un aeronef lors d'une approche en vue d'un atterrissage

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2138956A1 (en) * 2008-06-23 2009-12-30 Raytheon Company Adaptive match metric selection for automatic target recognition
CN107924196A (zh) * 2015-07-16 2018-04-17 赛峰电子与防务公司 用于自动辅助航空器着陆的方法
CN106548534A (zh) * 2015-08-21 2017-03-29 波音公司 用于报告飞机的状态信息的方法及设备
CN105810023A (zh) * 2016-05-16 2016-07-27 福建福光股份有限公司 机场起落架收放自动监测系统及方法
CN109614864A (zh) * 2018-11-06 2019-04-12 南京莱斯电子设备有限公司 一种地基视角多机型飞机起落架收放状态检测方法
CN111204468A (zh) * 2018-11-22 2020-05-29 塔莱斯公司 用于在能见度降低的状况下的飞行器着陆辅助的装置和方法
CN111209927A (zh) * 2018-11-22 2020-05-29 塔莱斯公司 用于辅助飞行器着陆的嵌入在飞行器中的神经网络的学习方法以及用于实施该方法的服务器
CN112380997A (zh) * 2020-11-16 2021-02-19 武汉巨合科技有限公司 基于深度学习的机型识别和起落架收放检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Dynamic Up-Sampling Network for Small Airplane Landing Gear Detection";Junyi Hang;《IEEE Access》;20190719;98405-98419 *
"基于视觉分析的飞机起落架系统收放异常检测";范钟 等;《2016航空试验测试技术学术交流会论文集》;20160715;95-96 *
"起落架收放人工智能监测系统";黄宜军 等;《激光与红外》;19970630;第27卷(第3期);158-159,165 *

Also Published As

Publication number Publication date
CN113138382A (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN111326023B (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN109765930B (zh) 一种无人机视觉导航系统
CN107729808B (zh) 一种用于输电线路无人机巡检的图像智能采集系统及方法
CN105302151B (zh) 一种飞机入坞引导和机型识别的系统及方法
CN103149939B (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN110426046B (zh) 一种无人机自主着陆跑道区域障碍物判断与跟踪方法
CN104808685A (zh) 用于无人机自主降落的视觉辅助装置及视觉辅助方法
CN103625649B (zh) 一种飞行器自主着陆区域判别方法
CN104298248A (zh) 旋翼无人机精确视觉定位定向方法
CN111413708A (zh) 基于激光雷达的无人机自主识别着陆选址方法
CA2853546A1 (en) Identification and analysis of aircraft landing sites
CN110879617A (zh) 一种红外引导无人机降落方法及装置
CN109584264B (zh) 一种基于深度学习的无人机视觉引导空中加油方法
CN116577776B (zh) 一种多源自主协同的目标探测与智能识别方法及系统
CN110618424B (zh) 一种基于多传感器融合的远距离高压线发现方法
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
EP3989034A1 (en) Automatic safe-landing-site selection for unmanned aerial systems
RU2513900C1 (ru) Способ и устройство определения координат объектов
CN105447431A (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
CN113138382B (zh) 一种军民航机场全自动进近着陆监视方法
CN112650304A (zh) 无人机自主着陆系统、方法和无人机
CN116430879A (zh) 基于合作目标的无人机精准引导降落方法及系统
KR101537324B1 (ko) 영상기반 비행체 자동 이착륙 유도 시스템
CN110231836A (zh) 一种引导无人机降落在移动靶标的方法
CN114092522A (zh) 一种机场飞机起降智能捕获跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant