CN108225735B - 一种基于视觉的精密进近指示器飞行校验方法 - Google Patents

Abstract

本发明公开了一种基于视觉的精密进近指示器飞行校验方法，属于航空飞行校验技术领域。飞机上搭载的相机将获取到的视频序列实时输入到计算机中，依次对当前帧图像进行显著性区域检测。依次找到当前帧图像中矩形区域的中点，作为每只PAPI灯在对应时刻的稳定光点的坐标。将同一PAPI灯在后一时刻与前一时刻的稳定光点进行匹配。找到每个光点由白色变成红色的时刻，当相似距离Δd大于阈值时T₂时，认为光点由白色变成红色。绘出Δd随时间t变化的曲线，依次记录四盏灯颜色跳变时刻t_n。获取各跳变时刻的飞机定位数据，得到飞机高度和飞机距灯具的水平距离之后，计算四盏PAPI灯具的仰角。本发明提高了飞行校验的精度、飞行校验的效率以及校验的完整性。

Description

一种基于视觉的精密进近指示器飞行校验方法

技术领域

本发明属于航空飞行校验技术领域，具体涉及一种基于视觉的精密进近指示器飞行校验方法。

背景技术

精密进近指示器系统(Precision Approach Path Indicator,简称PAPI)，是为进近着陆中的飞机提供正确的下滑航道的助航灯光系统。它能够在飞机降落过程中为飞行员提供正确的下滑航道指示信息和不同的偏离指示信息。工作原理是四只PAPI灯以不同的角度朝向进近着陆的飞机，利用光的折射原理，当飞机沿着不同下滑坡度下滑时，飞行员观察到四只灯的颜色不同，从而提供正确的下滑航道信息和偏离指示信息，为飞机安全着陆提供了可靠的保障。

在国际民航组织附件、民用机场飞行区技术标准等规范中都对PAPI灯具的安装、设置角度做了明确的规定。典型的PAPI灯具安装设置角度分别为2°30’、2°50’、3°10’和3°30’。在首次投入使用之前和规定的维护周期间隔都要对PAPI系统的仰角进行飞行校验。

目前民用机场上PAPI灯光飞行校验的方法是校验员对灯光颜色做出目视判断，手动触发校验事件。存在两大缺点：一是飞机是动态的，对校验员的反应时间要求很高，而人工操作可能出现延时。二是不同光照情况下，人眼对光的敏感程度不同；同一光照情况下，不同人对光的敏感程度也不同。这样不同校验员对同一设备的校验结果不一致。所以，现行的PAPI灯校验方法受人为因素影响大，精度低，校验过程复杂，自动化程度低。

发明内容

本发明的目的在于提供一种基于视觉的精密进近指示器飞行校验的方法，利用图像自动分析代替人眼观察，视觉识别PAPI灯光颜色的变化，自动记录校验时刻飞机空间基准坐标，提高PAPI灯飞行校验的精度和效率。

本发明提供的基于视觉的精密进近指示器飞行校验方法，包括以下步骤：

步骤1、将四只PAPI灯依据排列顺序标记为A，B，C，D。飞机上搭载的相机将获取到的视频序列实时输入到计算机中，以每帧图像作为一个处理单元，依次对当前帧图像进行显著性区域检测；标记检测出来的代表A、B、C、D灯有效位置的矩形区域分别为R_A、R_B、R_C、R_D。

步骤2、依次找到当前帧图像中矩形区域R_A、R_B、R_C、R_D的中点，作为每只PAPI灯在对应时刻的稳定光点的坐标。

步骤3、将同一PAPI灯在后一时刻与前一时刻的稳定光点进行匹配。

步骤4、找到每个光点由白色变成红色的时刻，以HSI颜色对的相似距离Δd为判断依据，当相似距离大于阈值时T₂，认为光点由白色变成红色。对校验视频绘出Δd随时间t变化的曲线，依次记录四盏灯颜色跳变时刻t_n。

步骤5、获取各PAPI灯颜色跳变时刻的飞机定位数据，得到的飞机高度和飞机距灯具的水平距离之后，计算四盏PAPI灯具的仰角。

所述步骤1中对图像进行显著性区域检测具体步骤包括：

步骤101、按照下述公式将视频图像转换到HSI空间，利用色调H完成独立于亮度I的彩色区域分割。

步骤102、记HSI空间图像像素点为f(x,y),对应的色调值为v(x,y)，T_h为分割阈值。则基于色调的颜色分割规则为：

步骤103、对分割后的图像进行形态学运算。去除背景杂点、粘连目标内小于结构元素的孔洞。经步骤103处理得到的图像，以8-连通的方式联接候选区域中的像素点形成图像块，过滤掉圆形度过低的图像块。

步骤104、对图像进行的轮廓检测，并对轮廓做最小外接矩形，记单个矩形区域为R，代表PAPI灯的有效位置。根据轮廓信息得到外接矩形的四个顶点坐标、长度和宽度。

步骤105、记R的右下顶点横坐标为X₁,图像总宽度为W。根据

找到A,B,C,D灯的有效位置，分别记矩形区域为R_A、R_B、R_C、R_D。

所述步骤5中，对PAPI灯仰角的计算包括：

设步骤4获得的四盏PAPI灯的颜色跳变时刻分别是t_A,t_B,t_C,t_D，由GPS RTK和激光高度表获得飞机定位数据，得到四个时刻对应的飞机飞行的高度H_N以及飞机距离灯具的水平距离L_N；N＝A,B,C,D时，分别表示A,B,C,D四只PAPI灯；

则灯具的仰角θ^N＝arctan(H_N/L_N),N＝A,B,C,D；对计算得到的θ^N进行校验。

本发明的特点及有益效果在于：

(1)提高飞行校验的精度。本发明用图像自动分析代替人眼观察，减少了人为因素主观性的影响，实现了标准化观测，为后续设备的调整建议和校验结果的出具，提供必要的技术支撑。通过计算机视觉，对视频序列进行数字化处理，将精密进近指示器系统的各项指标，尤其是PAPI灯具的仰角，进行校准。

(2)提高飞行校验的效率。由视觉判断PAPI灯光颜色的变化，并且自动记录信号跳变时刻的方式，代替现行的“飞行员手动触发校验事件”的记录方式。飞行员操作减少，效率提高。

(3)提高校验的完整性。通过视觉判断校验过程的记录与监视手段，提供更加完整的数据记录过程和评估依据，使校验结果的出具更加合理。这主要依赖各类设备，将视频图像、飞行参数进行耦合，实现同步传输与存储。

附图说明

图1是PAPI灯安装位置示意图；

图2是本发明PAPI灯飞行校验方法的原理示意图；

图3是本发明基于视觉的精密进近指示器飞行校验方法的总体流程图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图对本发明的具体实施方式做出详细介绍。

PAPI系统由涵盖四个等距设置的急剧变色灯具组成，一般设在跑道左侧，如图1所示。将四盏PAPI灯依据排列顺序依次标记为A，B，C，D；灯具距离跑道入口的水平距离D1是一定的。如图2所示，本发明提供的基于视觉的精密进近指示器飞行校验方法，通过飞机上搭载的相机获取PAPI灯的监测视频，将获得的视频序列输入到计算机中进行检验，来识别PAPI灯光颜色变化。图2中，飞机的高度即相机的高度H，飞机距离灯具的水平距离就是相机距离灯具的水平距离L。

下面结合图3，具体说明本发明的基于视觉的精密进近指示器飞行校验方法的流程。

步骤一，将飞机上搭载相机获取到的监测PAPI灯的视频序列输入到计算机中，对每帧图像进行显著性区域检测，识别四只PAPI灯的有效位置。

由于视频是图像序列，所以将每帧图像作为一个基本的处理单元。本发明实施例进行飞行校验时，由相机获取到的视频是每秒30帧。依次实时处理视频系列的第一帧、第二帧、第三帧…，通过对每个单元进行处理分析最终完成对PAPI灯颜色变化的识别和仰角的校验。

对每帧图像首先以颜色、形状、位置为特点进行显著性区域检测，标记出PAPI灯的有效位置。包括下述具体步骤。

步骤1.1，将视频图像转换到HSI空间。设备采集到的视频图像默认在RGB(红绿蓝)空间，但是RGB颜色空间模型下的R,G,B三个分量相关性较高，受光照影响较大，不利于颜色分割。而HSI(色调、饱和度和亮度)颜色空间是适合人类视觉特性的色彩模型，分量之间的相关性较小，色调与亮度、阴影等无关。本发明采用几何推导法，按照下述公式将视频图像转换到HSI空间，利用色调H完成独立于亮度I的彩色区域分割。

步骤1.2，记HSI空间图像像素点为f(x,y)，对应的色调值为v(x,y)，T_h为分割阈值。则基于色调的颜色分割规则为：

步骤1.3，分割后的图像还有很多杂点，因此引入形态学运算。形态学开运算是通过结构元素对图像先进行腐蚀然后再进行膨胀，作用是去除背景噪声。闭运算是通过结构元素对图像先进行膨胀然后再进行腐蚀，作用是粘连目标内小于结构元素的孔洞。

对图像进行上述处理后，以8-连通的方式联接候选区域中的像素点形成图像块，过滤掉圆形度过低的图像块。设置一个合适的圆形度阈值来过滤图像块。

圆形度是指一个图像块类似于圆的程度，计算公式如下：

其中，M为图像块的圆形度，Area为图像块的面积；perimeter为图像块的周长，pi为图像块的像素个数。

步骤1.4，对图像进行轮廓检测，并对轮廓做最小外接矩形，记单个矩形区域为Re，代表PAPI灯的有效位置。最小外接矩形是依据图块的X向最大距离和Y向最大距离为长和宽的矩形，根据轮廓信息得到外接矩形的四个顶点坐标(x_{left_up},y_{left_up})、(x_{left_down},y_{left_down})、(x_{right_up},y_{right_up})、(x_{right_down},y_{right_down})和长度Length、宽度Width。

步骤1.5，记R的右下顶点横坐标为X₁，图像总宽度为W。由于PAPI灯位置相对固定，均出现在图像的左半部分，所以满足

找到A,B,C,D灯的有效位置，分别记矩形区域为R_A、R_B、R_C、R_D。

步骤二，依次找到t_i时刻(对应第i帧图像)时矩形区域R_A、R_B、R_C、R_D的中点，确定每只PAPI灯的稳定光点的坐标。i为正整数。

设L_Ai(x_Ai,y_Ai)、L_Bi(x_Bi,y_Bi)、L_Ci(x_Ci,y_Ci)、L_Di(x_Di,y_Di)分别为第i帧图像检测的矩形区域R_A、R_B、R_C、R_D的中点坐标。计算的中点坐标即每只PAPI灯的稳定光点坐标。

各中点坐标的横纵坐标根据对应矩形的顶点坐标来计算，如下式：

其中，x_{left_up}、x_{right_up}分别为对应矩形右上角和左上角的顶点的横坐标，y_{left_up}、y_{left_down}分别为对应矩形左上角和左下角的顶点的横坐标。

步骤三，对PAPI灯的稳定光点进行匹配。即对第i帧和第i+1帧的图像识别的稳定光点进行匹配。

设t_i时刻，从第i帧视频图像中获得四只PAPI灯对应的矩形中点坐标为(x_Ni,y_Ni)，其中，变量N＝A,B,C,D。在t_i+1时刻，从第i+1帧视频图像中获得四只PAPI灯对应的矩形中点的坐标为(x_N(i+1),y_N(i+1))。

因为本发明处理的对象是视频序列，同一只PAPI灯在不同的帧中，位置坐标可能有微小变化，为适应该变化，进行稳定光点的匹配，规则如下：

当第i+1帧的矩形区域中点(x_N(i+1),y_N(i+1))与第i帧的矩阵区域中点的欧式距离满足下式

时，认为该点(x_N(i+1),y_N(i+1))是PAPI灯的稳定光点。其中，T₁是距离阈值。

当不满足上面不等式时，选择点(x_N(i+1),y_N(i+1))的8_-邻域内像素点，继续与(x_Ni,y_Ni)进行稳定光点匹配。

步骤四，找到每个光点由白色变成红色的时刻，以HSI颜色对的相似距离Δd为判断依据，当相似距离大于阈值T₂时，认为光点由白色变成红色，对校验视频绘出Δd随时间t变化的曲线，依次记录四盏灯颜色跳变时刻。

步骤4.1，HSI颜色对的相似性可以用相似距离度量。设N_i(H_i,S_i,I_i)、N_i+1(H_i+1,S_i+1,I_i+1)分别为第i帧和第i+1帧中PAPI灯的HSI颜色空间的颜色对，同样当N＝A,B,C,D时，分别表示A,B,C,D四只PAPI灯。

定义HSI颜色对的相似距离Δd为：

其中，

步骤4.2在步骤三已经进行了光点的匹配，确定了稳定的光点坐标，设定一个稳定光点的相似距离阈值T₂，是一个实验得到的常数，当相似距离均大于该阈值，即Δd＞T₂时，认为当前帧中的PAPI灯的颜色发生了变化，本发明中的阈值T₂设为7.0，当灯光颜色发生变化，HSI颜色对的相似距离大于7.0。

记录每只PAPI灯第一跳变时刻，即白色变成红色的时刻t_N，N＝A,B,C,D。

步骤五、由GPS RTK和激光高度表依次提供各跳变时刻的飞机定位数据，得到对应的飞机高度和距灯具的水平距离之后，计算四盏PAPI灯具的仰角。GPS RTK表示载波相位差分技术测量的GPS(全球定位系统)。

设通过步骤四获得四盏PAPI灯的颜色跳变时刻分别为t_A,t_B,t_C,t_D，由GPS RTK和激光高度表获得对应时刻飞机高度H_N和飞机距灯具的水平距离L_N，如图2所示。N＝A,B,C,D时，分别表示A,B,C,D四只PAPI灯。

首先，得到A灯具光束颜色由白色变为红色时刻数据，此时飞机飞行的高度H_A以及飞机距离灯具的水平距离L_A，依次再得到B、C、D灯具光束颜色变化时飞机的飞行高度H_B、H_C、H_D及飞机距离灯具的水平距离L_B、L_C、L_D，从而可以通过计算得到每一只灯具的光束的仰角，完成PAPI系统灯具仰角的校验。

灯具的仰角可由下式求得：θ^N＝arctan(H_N/L_N),N＝A,B,C,D。对计算得到的θ^N进行校验。

本发明通过“计算机视觉代替人眼观察”的这种方法提高了校验的精度，对视频序列进行数字化处理后，根据PAPI灯光颜色变化时刻的飞机高度和距灯具的水平距离，可以计算各PAPI灯具的仰角，从而对精密进近指示器系统进行纠偏，本发明方法提高了校验效率，并且校验结果更加合理准确，具有广阔的应用价值和市场前景。

Claims (5)

1.一种基于视觉的精密进近指示器飞行校验方法，其特征在于，包括以下步骤：

步骤1、将四只PAPI灯依据排列顺序标记为A，B，C，D；将飞机上搭载的相机获取的监测PAPI灯的视频序列实时输入到计算机中，并依次对当前帧图像进行显著性区域检测；标记检测出来的代表A、B、C、D灯有效位置的矩形区域分别为R_A、R_B、R_C、R_D；

所述的步骤1中，进行显著性区域检测，包括：

步骤101，将视频图像转换到HSI空间，利用色调H完成独立于亮度I的彩色区域分割；采用几何推导法，将视频图像转换到HSI空间，公式如下：

步骤102，记HSI空间的图像像素点为f(x,y)，对应的色调值为v(x,y)，T_h为设置的分割阈值，则对图像进行基于色调的颜色分割，规则如下：

步骤103，对分割后的图像进行形态学运算，去除背景杂点、粘连目标内小于结构元素的孔洞；再以8-连通的方式联接候选区域中的像素点形成图像块，设置一个圆形度的最低值，根据该值过滤掉圆形度过低的图像块；圆形度是指一个图像块类似于圆的程度，计算公式如下：

其中，M为图像块的圆形度，Area为图像块的面积；perimeter为图像块的周长，pi为图像块的像素个数；

步骤104，对图像进行的轮廓检测，并对轮廓做最小外接矩形，单个矩形区域代表PAPI灯的有效位置，根据轮廓信息得到最小外接矩形的四个顶点坐标、长度和宽度；

步骤105，设单个矩形区域的右下顶点横坐标为X₁，一帧图像的总宽度为W，根据

找到A、B、C、D灯的有效位置，分别记矩形区域为R_A、R_B、R_C、R_D；

步骤2、依次找到当前帧图像中矩形区域R_A、R_B、R_C、R_D的中点，作为PAPI灯在对应时刻的稳定光点；

步骤3、将同一PAPI灯在后一时刻与前一时刻的稳定光点进行匹配；进行稳定光点匹配的方法是：

设同一只PAPI灯，在t_i时刻，从对应的第i帧图像获取的矩形区域中点坐标为(x_Ni,y_Ni)，在t_i+1时刻，从对应的第i+1帧图像中获取的矩形区域中点坐标为(x_N(i+1),y_N(i+1))，则当满足条件

时，认为(x_N(i+1),y_N(i+1))是PAPI灯的稳定光点；其中，T₁是距离阈值；N＝A,B,C,D，分别表示A,B,C,D四只PAPI灯；当不满足距离阈值条件时，选择(x_N(i+1),y_N(i+1))点的8-邻域内像素点，与坐标(x_Ni,y_Ni)进行稳定光点匹配；

步骤4、找到每个光点由白色变成红色的时刻，以HSI颜色对的相似距离Δd为判断依据，当相似距离大于相似距离阈值T₂时，认为光点由白色变成红色，对校验视频绘出Δd随时间t变化的曲线，依次记录四盏PAPI灯颜色跳变时刻；

步骤5、获取各PAPI灯颜色跳变时刻的飞机定位数据，根据对应时刻得到的飞机高度和飞机距灯具的水平距离，计算四盏PAPI灯具的仰角。

2.根据权利要求1所述的基于视觉的精密进近指示器飞行校验方法，其特征在于，所述的步骤2，具体实现包括：

对于第i帧图像，根据所检测的矩形的顶点坐标来确定矩形的中点坐标；设第i帧图像中检测的矩形区域R_A、R_B、R_C、R_D的中点坐标分别为L_Ai(x_Ai,y_Ai)、L_Bi(x_Bi,y_Bi)、L_Ci(x_Ci,y_Ci)、L_Di(x_Di,y_Di)；i为正整数。

3.根据权利要求1所述的基于视觉的精密进近指示器飞行校验方法，其特征在于，所述的步骤4具体为：

设同一PAPI灯在第i帧和第i+1帧图像的HSI颜色空间的颜色对分别为N_i(H_i,S_i,I_i)、N_i+1(H_i+1,S_i+1,I_i+1)；N＝A,B,C,D，分别表示A,B,C,D四只PAPI灯；用相似距离Δd来度量HSI颜色对的相似性，如下：

其中，ΔS＝|S_i-S_i+1|,ΔI＝|I_i-I_i+1|,ΔH＝|H_i-H_i+1|，

设定一个相似距离阈值T₂，当相似距离Δd均大于该相似距离阈值，即Δd＞T₂时，认为当前帧中的PAPI灯的颜色发生了变化。

4.根据权利要求3所述的基于视觉的精密进近指示器飞行校验方法，其特征在于，所述的相似距离阈值T₂设置为7.0。

5.根据权利要求1所述的基于视觉的精密进近指示器飞行校验方法，其特征在于，所述的步骤5具体为：

设步骤4获得的四盏PAPI灯的颜色跳变时刻分别是t_A,t_B,t_C,t_D，由GPS RTK和激光高度表获得飞机定位数据，得到四个时刻对应的飞机飞行的高度H_N以及飞机距离灯具的水平距离L_N；N＝A,B,C,D时，分别表示A,B,C,D四只PAPI灯；

则灯具的仰角θ^N＝arctan(H_N/L_N),N＝A,B,C,D；对计算得到的θ^N进行校验。

Images