CN109614864A - 一种地基视角多机型飞机起落架收放状态检测方法 - Google Patents

Abstract

本发明公开了一种地基视角多机型飞机起落架收放状态检测方法，本发明利用地基长焦复合光电探测器(红外、可见光)获取飞机下滑降落正视画面；基于飞机着陆正视画面自动提取飞机机型结构特征，并利用匹配的机型图片库中提取出的机型结构特征参数，定位当前降落飞机起落架区域位置；最后通过特征分析与多帧综合决策处理自动确定飞机起落架收放状态。本发明基于地基长焦复合光电探测器，设备布设简单，主要算法流程均由软件完成，一套设备即可完成一个机场所有不同类机型飞机降落过程中飞机起落架收放状态监视。

Description

一种地基视角多机型飞机起落架收放状态检测方法

技术领域

本发明涉及一种地基视角多机型飞机起落架收放状态检测方法。

背景技术

当前的军民用飞机起落架收放状态指示主要依靠状态指示仪表、起落架信号灯、以及机身上外置摄像头等多种方式实现，但仍不能完全排除以上设施出现故障以及飞行员操作疏忽的可能性。往往需要在机场安排地面人员通过望远镜对飞机降落前起落架收放情况进行人工确认，以便在发现危险时提示机场塔台与飞行员及时应对，确保飞机安全降落。而人工观察的作业方式既会受到气候、光强、空气能见度等诸多因素的影响，又对观察人员的精力、集中力要求较高，耗费人力，难以全天候的提供起落架状态指示信息以供机场和飞行员进行及时的故障处置。

综上所述，需要有一种稳定可靠的自动化地面飞机起落架状态监测手段，来取代人工地面观察作业，为确保降落阶段飞机起落架安全放置提供保障。而实现该手段，则需要解决以下关键问题：(1)采用何种探测器以何种视角进行起落架观测可达到全天候探测目的。(2)如何有效提取飞机降落过程中的关键特征，并依据特征完成起落架收放状态的自动检测。(3)如何构建一整套对于不同尺寸、外形的多种型号飞机均有效的检测体系。(4)如何保证起落架收放状态自动检测精度和可靠性。

发明内容

发明目的：本发明针对现有技术手段的不足，提供降落飞机起落架收放状态全自动检测技术。可替代机场地面观察员，自动完成多种机型飞机降落过程中起落架收放状态监控工作，为危险应急决策提供全天候保障。

技术方案：

本发明设计了一种地基视角多机型飞机起落架收放状态检测技术。能够基于地基布设的复合光电探测器探测到的飞机正视降落图像(包含可见光探测器与红外探测器)，自动识别多种机型飞机起落架收放状态。

本发明技术方案的实施步骤如下：

步骤1，利用地基光电成像设备采集N帧飞机降落下滑过程正视角图像，用I_k表示第k帧视频帧图像，k取值为1～N；

步骤2，对I_k进行自适应阈值的边缘特征提取得到边缘特征图E_k；

步骤3，提取边缘特征图E_k中飞机结构信息F_k；

步骤4，利用特征库中存在的机型结构信息F，定位飞机起落架数量Q与起落架区域位置，用Area_i表示第i个起落架区域位置，i＝1,2,…,Q；

步骤5，分别对每个起落架区域位置进行考察，通过区域内特征图的均线与腰线特征判定起落架收放状态，获得第k帧视频帧图像起落架状态判定的结果

步骤6，重复步骤1至步骤5，累计N帧起落架状态识别结果R_i，根据R_i给出最终判定结果。

步骤1包括：

采用地基视角的飞机下滑降落正视角度图进行飞机起落架收放状态检测，地基长焦复合光电探测设备(含可见光探测器与红外探测器)布设于机场跑道侧翼，布设点与跑道垂直距离保持在M米(一般为100米)范围内，使得获取到的图像为飞机降落正视图，复合光电探测设备红外与可见光探测器同时工作，同时采集图像，保证全时段、全天候目标图像获取，最终得到N帧飞机降落下滑过程正视角图像。

步骤2包括：

对于原始图像I_k(同时适用可见光与红外图像)进行算子大小为5的高斯滤波得到图像I′_k，采用Canny边缘检测算法对I′_k进行进行边缘提取得到边缘特征图E_k，其中Canny边缘检测算法两个参数HighParam与LowParam确定方法如下：

对图像I′_k利用Sobel算子求取其x方向和y方向导数图像，并求取每个像素点的一阶范数梯度强度值得到梯度强图像I″_k，获取I″_k中最大像素点值MaxV，然后对I″_k建立直方图Hist_k，直方图组数为HistSize，设定阈值参数ThresholdEdge(预设0.97)，像素点总数为TotalPix＝Width*Height，其中Width和Height分别为图像I″_k的宽度和高度，计算Hist_k中每个Bin(Bin为直方图数值的分段区间，图像灰度值为0～255，将0～255分为HistSize个等段，那么每一段都是一个Bin)中的像素个数为bin_j,j＝1,2,…,HistSize，累计像素点数之和求取一个j的值，使得SumPix≥ThresholdEdge·TotalPix成立，则Canny边缘检测高阈值参数HighParam＝(j+1)·HistSize/MaxV，低阈值参数lowParam＝0.4·HighParam。根据Canny边缘检测算法得到边缘特征图E_k。(Canny边缘检测算法是johnF.Canny于1986年开发出的一个多级边缘检测算法，是常用边缘检测算法的一种)。

步骤3包括：

步骤3-1，对二值图像E_k进行形态学滤波，选择直径为5的圆形算子进行闭运算得到二值图像E′_k(闭运算为形态学滤波的一种操作，属于图像处理基础处理步骤)，对二值图像E′_k进行连通域分析(参考文献:Satoshi Suzuku,Keiichi Abe,TopoiogicalStructural Analysis of Digitized Binary Images by Border Following,COMPUTERVISION，GRAPHICS，AND IMAGEPROCESSING30,32-46(1985))，提取最大的联通区域，获取点迹集合Pnt＝{E′_k(x_n,y_n),n＝1,2,...,N}，其中E′_k(x_n,y_n)为二值图像E′_k上像素值为1且属于最大联通区域的像素点，获取Pnt的外接矩形区域其中x_min，x_max分别为集合Pnt中像素点E′_k(x_n,y_n)横坐标x_n的最小取值、最大取值，y_min，y_max分别为集合Pnt中像素点E′_k(x_n,y_n)横坐标y_n的最小取值、最大取值，在中寻找左极点Pnt_left＝E′_k(x_min,y′)与右极点Pnt_right＝E′_k(x_max,y″)，确定轴长特征L，其中E′_k(x_min,y′)代表集合Pnt中横坐标x值最小的像素点，y′为该点对应的纵坐标值。E′_k(x_max,y″)代表集合Pnt中横坐标x值最大的像素点，y″为该点对应的纵坐标值。

步骤3-2，

计算中心点特征Pnt_center：

从而得到特征信息其中x_center,y_center分别表示中心点Pnt_center的横纵坐标值，E′_k(x_center,y_center)表示集合Pnt中横坐标和纵坐标分别为x_center,y_center的像素点。

步骤4包括：

机型结构信息包涵起落架个数Q，各起落架的位置分布，结合当前图片特征信息得到起落架区域位置：

其中代表飞机的第i个起落架的区域位置(一般飞机起落架数量为3个或5个)，为Area_i在图像中左上顶点坐标值，为Area_i在图像中右下顶点坐标值；代表计算第i个起落架区域左上顶点坐标的定位系数，代表计算第i个起落架区域右下顶点坐标的定位系数，例如用于求取左上顶点的横坐标的值，作用类似。皆包涵于特征库信息(即为存储了不同类型飞机不同位置起落架的定位特征信息，由人工标注确定)中。

步骤5包括：

在第i个起落架所在的图像区域Area_i中，确认滤波后的二值图像E′_k落入Area_i区域内的像素点的集合：

中的像素点E′_k(x_s,y_s)横纵坐标满足令S_i为中的像素点个数。当前定轴长特征L＜L_Threshold(L_Threshold为起落架识别最小像素尺寸，一般L_Threshold取值40像素)时，目标图像过小，无法判定起落架收放状态，认定第k帧视频帧图像起落架i的收放状态为不确定，即当L≥L_Threshold时，针对第i个起落架，利用中所有点的横坐标值计算水平均线

再挑选中y(y为中像素点在图像中的像素坐标系纵坐标值)最大的S′_i＝floor(S_i/2)(floor为向下取整数操作，S′_i实际上相当于中像素点个数的一半，再下取整后的数值)个点，组成新的点迹集合利用中的所像素点计算腰线最后计算yⁱ _averline与yⁱ _to_pline之差yⁱ _delta＝yⁱ _topline-yⁱ _averline，当满足yⁱ _delta≥αⁱ·L(其中αⁱ为第i个起落架判定阈值门限，不同的起落架设置不同，中间起落架一般设定为0.03，侧翼起落架一般设定为0.05)则判定第k帧视频帧图像起落架i的收放状态为放下即否则起落架i的收放状态为收起，即

步骤6包括：

对于起落架i，累计N帧起落架状态识别结果R_i如下：

其中0＜β≤1，R_i为-1代表起落架状为收起，R_i为0代表起落架状态不确定，R_i为1代表起落架状态为放下，当飞机进近到最小决策距离(最小决策距离由机场用户提供，为飞机进近过程机场最小处置反应距离，一般为2km～4km。)时飞机Q个起落架中(一般飞机起落架数量为3个或5个)，有任意一个检测结果R_i不为1，则进行告警提示。

有益效果：本发明显著优点是：

1、全天候、全自动提供地面视角飞机起落架监控手段。

2、通过构建特征库，可针对机场具有多种机型的飞机进行识别，兼容性与可拓展性强，一套设备即可满足整个机场对所有类型飞机的监视需求。

3、采用自适应特征提取、特征图像分析与多帧综合决策，飞机起落架状态检测准确，可靠性高。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明针对某一帧的飞机起落架状态的检测过程示意图。

图2为地基多机型飞机起落架收放状态检测系统组成图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提供了一种地基视角多机型飞机起落架收放状态检测方法，包括如下步骤：

(1)利用地基光电成像设备采集飞机降落下滑过程正视角图像I_k，其中k为视频帧数编号。

采用地基视角的飞机下滑降落正视角度图进行飞机起落架收放状态检测，地基长焦复合光电探测设备(含可见光探测器与红外探测器)布设于机场跑道侧翼，布设点与跑道垂直距离保持在100米范围内，保证获取到的图像为飞机降落正视图。复合光电探测设备红外与可见光探测器同时工作，同时采集图像，保证全时段、全天候目标图像获取。

(2)对I_k进行自适应阈值的边缘特征提取得到边缘特征图E_k。

基本边缘特征图获取方式如下：

对于原始图像I_k(同时适用可见光与红外图像)进行算子大小为5的高斯滤波得到图像I′_k，对I′_k进行边缘检测，采用Canny边缘检测算法进行边缘提取，其中Canny边缘检测算法两个参数HighParam与LowParam确定方法如下，对图像I′_k分别利用Sobel算子求取其x方向和y方向倒数图像，并求取每个像素点的一阶范数梯度强度值得到梯度强图像I″_k，获取I″_k中最大像素点值MaxV，然后对I″_k建立直方图Hist_k，直方图组数为HistSize，设定阈值参数ThresholdEdge(预设0.97),像素点总数为TotalPix＝Width*Height,(其中Width和Height分别为图像I″_k的宽度和高度)计算Hist_k中每个Bin中的像素个数为bin_j,j＝1,2,...,HistSize，累计像素点数之和求取一个j的值，使得SumPix≥ThresholdEdge·TotalPix刚好成立，则Canny边缘检测高阈值参数HighParam＝(j+1)·HistSize/MaxV，低阈值参数lowParam＝0.4·HighParam。

(3)提取图E_k中飞机结构信息F_k。

飞机结构特征提取过程如下：

对二值图像E_k进行形态学滤波，选择直径为5的圆形算子进行闭运算得到二值图像E′_k，对二值图像E′_k进行连通域分析，获取点迹集合Pnt_n＝E′_k(x_n,y_n),n＝1,2,…,N，其中，获取外接矩形区域在中寻找左极点Pnt_left＝E′_k(x_min,y′)与右极点Pnt_right＝E′_k(x_max,y″)，确定轴长特征

再计算中心点特征：

最后得到特征信息

(4)利用特征库中存在的机型结构信息定位飞机起落架数量Q与起落架区域位置Area_i,i＝1,2,...,Q。

基于特征库的飞机起落架定位方式如下：

机型结构信息包涵起落架个数Q，各起落架的位置分布，是通过该机型标准降落图片离线人工标注得到，结合当前图片特征信息可知起落架区域位置Area_i,i＝1,2,...,Q，其计算方法为：

其中皆包涵于特征库信息(即为存储了不同类型飞机不同位置起落架的定位特征信息，由人工标注确定)中。

(5)分别对每个Area_i区域进行考察，通过区域内特征图的均线与腰线特征判定起落架收放状态，获得第k帧起落架状态判定的结果

飞机起落架区域特征分析方法如下：

在第i个起落架所在的图像区域Area_i中，确认滤波后的二值图像E′_k落入Area_i区域内的像素点的集合：

中的像素点E′_k(x_s,y_s)横纵坐标满足令S_i为中的像素点个数。当前定轴长特征L＜L_Threshold(L_Threshold为起落架识别最小像素尺寸，一般L_Threshold取值40像素)时，目标图像过小，无法判定起落架收放状态，认定第k帧视频帧图像起落架i的收放状态为不确定，即当L≥L_Threshold时，针对第i个起落架，利用中所有点的横坐标值计算水平均线再挑选中y最大的S′_i＝floor(S_i/2)(floor为向下取整数操作)个点，组成新的点迹集合利用中的所像素点计算腰线最后计算yⁱ _averline与yⁱ _topline之差yⁱ _delta＝yⁱ _topline-yⁱ _averline，当满足yⁱ _delta≥αⁱ·L(其中αⁱ为第i个起落架判定阈值门限，不同的起落架设置不同，中间起落架一般设定为0.03，侧翼起落架一般设定为0.05)则判定第k帧视频帧图像起落架i的收放状态为放下即否则起落架i的收放状态为收起，即

(6)重复步骤(1)至步骤(5)，累积N帧处理结果再综合决断起落架收放情况，给出最终判定结果R_i,1,2,...,Q，依据起落架识别结果进行告警提示。

起落架检测多帧综合决策方法如下：

对于起落架i，累计N帧起落架状态识别结果其中0＜β≤1一般取β＝0.8，其中-1代表起落架状为收起，0代表起落架状态不确定，1代表起落架状态为放下。当飞机进近到最小决策距离(最小决策距离由机场用户提供，为飞机进近过程机场最小处置反应距离，一般为2km～4km。)时飞机Q个起落架中，有任意一个检测结果R_i,1,2,...,Q不为1，则进行告警提示。

如图1为本发明针对某一帧的飞机起落架状态的检测过程示意图，过程示意图包括主图与左上角的子图，其中左上子图对应处理步骤(2)～(5)，子图中飞机轮廓线即为步骤(2)自适应方法提取的特征边缘图，飞机轮廓下方的三个方框代表步骤(3)、(4)利用飞机特征信息以及特征库参数获取的飞机起落架潜在位置，方框中的两条横线分别代表步骤(5)中的均线与腰线。步骤(5)的处理结果显示在主图上，飞机下方的三个方框分别对应本帧图像飞机起落架收放状态检测结果(如果检测到起落架为放下状态则显示对应位置的方框，否则不显示方框)，该帧图像前起落架与两测起落架检测到的状态均为放下。

如图2为地基多机型飞机起落架收放状态检测系统组成图。

本发明提供了一种地基视角多机型飞机起落架收放状态检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种地基视角多机型飞机起落架收放状态检测方法，其特征在于，包括如下步骤：

步骤1，利用地基光电成像设备采集N帧飞机降落下滑过程正视角图像，用I_k表示第k帧视频帧图像，k取值为1～N；

步骤2，对I_k进行自适应阈值的边缘特征提取得到边缘特征图E_k；

步骤3，提取边缘特征图E_k中飞机结构信息F_k；

步骤4，利用特征库中存在的机型结构信息定位飞机起落架数量Q与起落架区域位置，用Area_i表示第i个起落架区域位置，i＝1,2,…,Q；

步骤5，分别对每个起落架区域位置进行考察，通过区域内特征图的均线与腰线特征判定起落架收放状态，获得第k帧视频帧图像起落架状态判定的结果

步骤6，重复步骤1至步骤5，累计N帧起落架状态识别结果R_i，根据R_i给出最终判定结果。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

采用地基视角的飞机下滑降落正视角度图进行飞机起落架收放状态检测，地基长焦复合光电探测设备布设于机场跑道侧翼，布设点与跑道垂直距离保持在M米范围内，使得获取到的图像为飞机降落正视图，复合光电探测设备红外与可见光探测器同时工作，同时采集图像，最终得到N帧飞机降落下滑过程正视角图像。

3.根据权利要求2所述的方法，其特征在于，步骤2包括：

对于原始图像I_k进行算子大小为5的高斯滤波得到图像I′_k，采用Canny边缘检测算法对I′_k进行进行边缘提取得到边缘特征图E_k，其中Canny边缘检测算法两个参数HighParam与LowParam确定方法如下：

对图像I′_k利用Sobel算子求取其x方向和y方向导数图像，并求取每个像素点的一阶范数梯度强度值得到梯度强图像I″_k，获取I″_k中最大像素点值MaxV，然后对I″_k建立直方图Hist_k，直方图组数为HistSize，设定阈值参数ThresholdEdge，像素点总数为TotalPix＝Width*Height，其中Width和Height分别为图像I″_k的宽度和高度，计算Hist_k中每个Bin中的像素个数为bin_j,j＝1,2,…,HistSize，累计像素点数之和Bin为直方图数值的分段区间，图像灰度值为0～255，将0～255分为HistSize个等段，则每一段都是一个Bin；

求取一个j的值，使得SumPix≥ThresholdEdge·TotalPix成立，则Canny边缘检测高阈值参数HighParam＝(j+1)·HistSize/MaxV，低阈值参数lowParam＝0.4·HighParam，根据Canny边缘检测算法得到边缘特征图E_k。

4.根据权利要求3所述的方法，其特征在于，步骤3包括：

步骤3-1，对二值图像E_k进行形态学滤波，选择直径为5的圆形算子进行闭运算得到二值图像E′_k，对二值图像E′_k进行连通域分析，提取最大的联通区域，获取点迹集合Pnt＝{E′_k(x_n,y_n),n＝1,2,…,N}，其中E′_k(x_n,y_n)为二值图像E′_k上像素值为1且属于最大联通区域的像素点，获取Pnt的外接矩形区域其中x_min，x_max分别为集合Pnt中像素点E′_k(x_n,y_n)横坐标x_n的最小取值、最大取值，y_min，y_max分别为集合Pnt中像素点E′_k(x_n,y_n)横坐标y_n的最小取值、最大取值，在中寻找左极点Pnt_left＝E′_k(x_min,y′)与右极点Pnt_right＝E′_k(x_max,y″)，确定轴长特征L，其中E′_k(x_min,y′)代表集合Pnt中横坐标x值最小的像素点，y′为该点对应的纵坐标值；E′_k(x_max,y″)代表集合Pnt中横坐标x值最大的像素点，y″为该点对应的纵坐标值；

步骤3-2，计算中心点特征Pnt_center：

从而得到特征信息其中x_center,y_center分别表示中心点Pnt_center的横坐标值和纵坐标值，E′_k(x_center,y_center)表示集合Pnt中横坐标和纵坐标分别为x_center,y_center的像素点。

5.根据权利要求4所述的方法，其特征在于，步骤4包括：

机型结构信息包涵起落架个数Q，各起落架的位置分布，结合当前图片特征信息得到起落架区域位置：

其中代表飞机的第i个起落架的区域位置(一般飞机起落架数量为3个或5个)，为Area_i在图像中左上顶点坐标值，为Area_i在图像中右下顶点坐标值；代表计算第i个起落架区域左上顶点坐标的定位系数，代表计算第i个起落架区域右下顶点坐标的定位系数，皆包涵于特征库信息中。

6.根据权利要求5所述的方法，其特征在于，步骤5包括：在第i个起落架所在的图像区域Area_i中，确认滤波后的二值图像E′_k落入Area_i区域内的像素点的集合：

中的像素点E′_k(x_s,y_s)横纵坐标满足令S_i为中的像素点个数，当前定轴长特征L＜L_Threshold时，目标图像过小，无法判定起落架收放状态，认定第k帧视频帧图像起落架i的收放状态为不确定，即L_Thresho_ld为起落架识别最小像素尺寸；当L≥L_Threshold时，针对第i个起落架，利用中所有点的横坐标值计算水平均线再挑选中y最大的S′_i个点，组成新的点迹集合S′_i＝floor(S_i/2)，floor为向下取整数操作，y为中像素点在图像中的像素坐标系纵坐标值，利用中的所像素点计算腰线最后计算yⁱ _averline与yⁱ _topline之差yⁱ _delta＝yⁱ _topline-yⁱ _averline，当满足yⁱ _delta≥αⁱ·L，其中αⁱ为第i个起落架判定阈值门限，则判定第k帧视频帧图像起落架i的收放状态为放下即否则起落架i的收放状态为收起，即

7.根据权利要求6所述的方法，其特征在于，步骤6包括：

对于起落架i，累计N帧起落架状态识别结果R_i如下：

其中0＜β≤1，R_i为-1代表起落架状为收起，R_i为0代表起落架状态不确定，R_i为1代表起落架状态为放下，当飞机进近到最小决策距离时飞机Q个起落架中，有任意一个检测结果R_i不为1，则进行告警提示。