CN105447496B - 一种基于机器视觉的入坞飞机机型识别验证方法和系统 - Google Patents

Abstract

一种基于机器视觉的入坞飞机机型识别验证方法和系统，该方法包括：飞机泊位场景设置；飞机捕获，在设置好的飞机泊位场景中通过摄像装置捕获待停泊飞机的视频图像；飞机跟踪及定位，通过对捕获到的待停泊飞机的飞机引擎和飞机前轮的视频图像连续跟踪和实时更新，以实现对所述待停泊飞机实时定位并准确判断所述待停泊飞机相对于引导线的偏离程度；飞机识别及身份验证，对捕获到的待停泊飞机进行机型及身份验证，以进一步保证所述待停泊飞机安全准确停泊；信息显示，输出并显示待停泊飞机实时定位及相对于所述引导线偏离程度的结果，及其机型与身份验证的判断结果。本发明还公开了用于上述方法的入坞飞机机型识别验证系统。

Description

一种基于机器视觉的入坞飞机机型识别验证方法和系统

技术领域

本发明涉及一种用于智能飞机泊位引导系统的图像处理和模式识别，特别是一种用于飞机泊位引导的运动物体检测、特征识别和验证的基于机器视觉的入坞飞机机型识别验证方法和系统。

背景技术

飞机泊位引导是指将到港飞机从滑行道末端导引至机坪的停机位置并准确停泊的过程。飞机泊位引导的目的是保障入坞飞机安全准确停泊，能方便飞机与各种地勤接口的准确对接，并使登机桥能有效靠接飞机舱门，提高机场运行效率和安全。自动飞机泊位引导系统按使用传感器的类型不同主要分为：

(1)地埋感应线圈类

地埋感应线圈自动引导系统通过探测是否有金属物体经过或停留来确定入坞飞机的位置。其优点是响应速度快、成本低，对天气和照度无要求，但误差较大、抗干扰能力低。同时，埋在地下的引线和电子元件容易被压坏、可靠性较低，测量精度不高，不能识别机型，可调试可维修性差；

(2)激光扫描测距类

激光扫描测距类自动引导系统通过激光测距和激光扫描来确定飞机位置、速度和机型等信息，不受环境照度的影响、且受天气影响较小，精度较高，可调试可维修性好；

(3)视觉感知类

视觉感知类自动引导系统通过光学成像方式获取飞机入坞过程的图像信息，进而通过智能化信息处理技术确定入坞飞机的位置、速度和机型等信息，系统架构简单、成本低，具有高的智能化水平，可调性可维护性较好，但对天气和照度有要求、适应性较差。

由于激光扫描测距类和视觉感知类自动引导系统能有效获取入坞飞机的可视化信息，因此该两类自动飞机泊位引导系统又称为可视化泊位引导系统。

随着视觉感知成像技术、智能化信息处理技术和计算机技术的不断深入发展，可视化飞机泊位引导技术能精确、快速获取入坞飞机的入坞信息，已在机场的泊位引导系统中得到应用。美国Honeywell公司研制的可视化飞机泊位引导系统(VDGS)和德国西门子公司研制的视频泊位引导系统(VDOCKS)作为国际领先水平的视觉引导设备也在国际上一些机场得到应用，但这些系统对天气和照度要求较高、适应性较差，且缺乏智能化的信息处理能力。

发明内容

本发明所要解决的技术问题是提供一种基于机器视觉的入坞飞机机型识别验证方法和系统，能有效实现飞机入坞过程的飞机捕获、跟踪与定位及机型识别与身份验证，以有效提高民航机场自动化、智能化和运营管理的水平。

为了实现上述目的，本发明提供了一种基于机器视觉的入坞飞机机型识别验证方法，其中，包括如下步骤：

S1、飞机泊位场景设置，将监测场景划分为不同的信息处理功能区，以缩小通过摄像装置获得的飞机图像的处理区域范围，提高处理效率；

S2、飞机捕获，在设置好的飞机泊位场景中通过所述摄像装置捕获待停泊飞机的视频图像；

S3、飞机识别及身份验证，对步骤S2捕获到的待停泊飞机进行机型及身份验证，以进一步保证所述待停泊飞机安全准确停泊，包括：

S31、参数验证，提取所述视频图像中的飞机参数并与预置于数据库中的机型数据进行比对，得到机型相似度参数；

S32、模板匹配，将所述视频图像与预置于所述数据库中的机型模板进行比对，得到模板相似度参数；

S33、综合判断，所述机型数据相似度参数与所述模板相似度参数大于或等于一验证阈值时，则通过所述待停泊飞机的机型与身份验证；

S4、飞机跟踪及定位，通过对步骤S3验证后的待停泊飞机的飞机引擎和飞机前轮的视频图像连续跟踪和实时更新，以实现对所述待停泊飞机实时定位并准确判断所述待停泊飞机相对于引导线的偏离程度；以及

S5、信息显示，输出并显示步骤S3对所述待停泊飞机的机型与身份验证的判断结果，以及步骤S4中所述待停泊飞机实时定位及所述待停泊飞机相对于所述引导线偏离程度的结果。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，所述参数验证步骤S31包括：

S311、提取飞机引擎参数，提取所述视频图像中的飞机引擎参数并与预置于数据库中对应机型的飞机引擎参数进行比对；

S312、提取飞机机翼参数，提取所述视频图像中的飞机机翼参数并与预置于数据库中对应机型的飞机机翼参数进行比对；

S313、提取飞机机头参数，提取所述视频图像中的飞机机头参数并与预置于数据库中对应机型的飞机机头参数进行比对；以及

S314、提取飞机尾翼参数，提取所述视频图像中的飞机尾翼参数并与预置于数据库中对应机型的飞机尾翼参数进行比对。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，所述提取飞机引擎参数步骤S311具体包括：

S3111、图像极黑区域提取，对所述视频图像进行灰度直方图统计，在灰度级中间1％～99％范围内获得像素数不为0的最大灰度值/最小灰度值的比值，使用预设的极黑判定阈值提取所述视频图像中最黑的部分，得到一幅极黑区域图像；

S3112、类圆形检测，提取该极黑区域图像的所有外层边界，对每一个边界使用边界的矩计算边界的重心坐标，边界的第ji阶矩定义如下：

重心坐标

对于当前边界的所有像素点，计算其与该重心的距离，若计算得到的最大距离与最小距离的比值大于一圆形判定阈值，则认为该区域非圆形，进行下一区域的判定，记录判定的类圆形区域的重心坐标和半径，其中，m₀₁表示当前区域边界在y方向上的所有点y坐标值的总和，m₁₀为当前区域边界在x方向上的所有点x坐标值的总和，m₀₀为分别当前区域边界的点的个数；i,j取值0和1，m_ij表示m₀₁，m₁₀或m₀₀，x^j,yⁱ表示x的j次幂和y的i次幂；以及

S3113、相似度判定，若步骤S3112中检测到了M个类圆形区域，其中第e个类圆形区域和第f个类圆形区域的相似度的计算为：

Similarity_ef＝|Height_e-Height_f|*|Radius_e-Radius_f|

其中，Height为重心高度，Radius为半径，当相似度Similarity_ef小于预设的相似度阈值时，则认为区域e和f为待停泊飞机的飞机引擎；

S3114、参数比对，测量所述飞机引擎的半径并与预置于数据库中对应机型的飞机引擎参数进行比对，得到飞机引擎可信度系数。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，所述提取飞机机翼参数步骤S312具体包括：

S3121、提取飞机边缘像素点，提取所述视频图像的飞机边缘，沿远离所述待停泊飞机的登机桥一侧的飞机引擎中轴向上枚举像素点，对每个像素点，各画多条斜率倾角为0-20°的直线，统计每条所述直线所经过的边缘像素点数；

S3122、确定飞机机翼边缘，取经过所述边缘像素点的点数最多的两条直线作为所述待停泊飞机的飞机机翼的边缘；

S3123、确定飞机翼尖，取翼尖周围区域的边缘像素，作为翼尖特征参数记录下来；

S3124、参数比对，测量所述飞机机翼的长度并与预置于数据库中对应机型的飞机翼尖参数进行比对，得到飞机机翼可信度系数。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，所述提取飞机机头参数步骤S313具体包括：

S3131、确定飞机机头边界，通过已经确定的所述待停泊飞机的飞机引擎位置，确定所述待停泊飞机的中轴位置，枚举中轴上的点作为圆心，枚举2至4倍所述待停泊飞机的飞机引擎半径的长度为半径画圆，取经过边缘像素点最多的圆作为所述待停泊飞机的飞机机头的边界；

S3132、确定飞机机头窗，采用深度优先搜索的方法，寻找所述飞机机头的边界的上半圆中与所述飞机机头边界的边缘不相粘连的最长边缘，为所述飞机机头的机头窗所在位置；

S3133、参数比对，测量所述飞机机头的半径并与预置于数据库中对应机型的飞机机头参数进行比对，得到飞机机头可信度系数。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，所述提取飞机尾翼参数步骤S314具体包括：

S3141、利用深度优先搜索的方法，沿所述飞机机头的边界的上边缘寻找突起的部分为所述待停泊飞机的飞机尾翼；

S3142、参数比对，测量所述飞机尾翼的高度并与预置于数据库中对应机型的飞机尾翼参数进行比对，得到飞机尾翼可信度系数。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，所述机型相似度参数为所述飞机引擎可信度系数、飞机机翼可信度系数、飞机机头可信度系数及所述飞机尾翼可信度系数中的最小值与最大值之比。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，所述模板匹配步骤S32包括：

S321、全局模板匹配，以整幅所述视频图像为被搜索图像，以所述数据库中的标准飞机图像为模板，计算全局模板相似度参数；

S322、局部模板匹配，分别以S311-S314中提取得到的所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼位置为被搜索图像，分别以所述数据库中的标准飞机图像的引擎、机翼、机头和尾翼为模板，分别计算出所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼的4个相似度，去掉所述4个相似度中的最小值，计算所述4个相似度中其余3个相似度的平均数为局部模板相似度参数。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，所述综合判断步骤S33包括：

若所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数中至少有2个大于或等于0.85，则通过身份验证，或，所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数都大于0.7，则通过身份验证。

上述的基于机器视觉的入坞飞机机型识别验证方法，其中，在步骤S3113中，若没有检测出飞机引擎，则进行迭代检测，将所述极黑判定阈值、圆形判定阈值、相似度阈值分别增大，再进行步骤S3111-3113；若仍然没有检测出飞机引擎，则对所有的极黑区域使用7*7的圆形模板进行开操作，再进行步骤S3112-3113；

若仍然没有检测出飞机引擎，则再进行2次上述迭代检测；

若仍然没有检测出飞机引擎，则判定图像中无引擎存在。

为了更好地实现上述目的，本发明还提供了一种用于上述基于机器视觉的入坞飞机机型识别验证方法的入坞飞机机型识别验证系统。

本发明的技术效果在于：

本发明的入坞飞机机型识别验证方法和系统，具有有效的智能化视觉信息处理能力，能有效实现飞机入坞过程的飞机捕获、跟踪与定位、机型识别与身份验证等功能，而且具有智能化的站坪可视化监控功能，能有效提高民航机场自动化、智能化和运营管理的水平。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明一实施例的飞机泊位引导系统结构示意图；

图2为本发明飞机泊位引导工作原理图；

图3为飞机泊位引导过程流程图；

图4为飞机识别及验证流程图；

图5为分层图像结构示意图；

图6为一幅典型的极黑区域示意图；

图7为相似度判定的流程图；

图8为飞机图像边缘示例图；

图9为机翼轮廓与引擎轮廓示例图；

图10为被搜索图像S、子图Sij、模板T的示意图。

其中，附图标记

1 摄像装置

2 中央处理设备

3 显示设备

4 飞机泊位站坪

41 停止线

42 引导线

5 飞机

S1-S5、S31、S32 步骤

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

参见图1及图2，图1为本发明一实施例的飞机泊位引导系统结构示意图，图2为本发明飞机泊位引导工作原理图。本发明的基于机器视觉的入坞飞机跟踪定位系统，主要由摄像装置1、中央处理设备2和显示设备3组成。摄像装置1与中央处理设备2连接，中央处理设备2与显示设备3连接，摄像装置1将拍摄的图像发送给中央处理设备2，中央处理设备2将包含引导信息的显示内容发送给显示设备3。其中，摄像装置1安装在飞机泊位站坪4的停止线41后方，正对引导线42为宜，安装高度要高于飞机5的机身，在5-8m左右为宜。中央处理设备2可以是一种拥有接受数据、处理数据、储存数据、生成显示图像数据、发送数据能力的计算装置，例如工控机，包括用于执行飞机泊位场景配置、视频图像预处理、飞机捕获、飞机跟踪、飞机定位、飞机识别及身份验证的多个功能模块，以及生成用于信息显示内容的模块，全部作为软件安装在中央处理设备2中。中央处理设备2将包含引导信息的显示内容发送给显示设备3。显示设备3优选为安装于机场中可供飞机驾驶员观看的大型信息显示屏，另外，机场工作人员也可配备手持式显示设备以观察飞机情况。

参见图3，图3为本发明一实施例的飞机泊位引导流程图。本发明基于机器视觉的入坞飞机机型识别验证方法，包括如下步骤：

S1、飞机泊位场景设置，将监测场景划分为不同的信息处理功能区，以缩小通过摄像装置获得的飞机图像的处理区域范围，提高处理效率；

在安装系统之后、进行泊位引导之前执行，首先需要在实际场景中进行场景定义，紧邻引导线铺设一条黑白间隔的标尺，黑色与白色的长度间隔形同，长度间隔最大1m，可根据摄像装置的分辨率，使用长度间隔为0.5m、0.25m等更精细的标尺，标尺的总长度不超过对飞机位置进行距离解算的范围，通常为50m，其他工作通过预先编写的软件执行，软件打开并显示摄像装置拍摄的画面，并通过手动绘制线条、选框和点，来标记相关区域，并保存记录。

其次，进行图像预处理，即利用常用的图像处理方法，包括亮度校正、去噪等，改善图像的视觉效果，提高图像成分的清晰度或者使图像变得更有利于计算装置处理。

S2、飞机捕获，在设置好的飞机泊位场景中通过所述摄像装置捕获待停泊飞机的视频图像；具体可包括：

步骤S21、背景消除，利用基于中值滤波的背景模型、混合高斯背景模型或基于核密度概率估计的背景模型来模拟场景中背景的动态分布并进行背景建模，然后将当前帧与背景模型作差分以消除背景，以凸显前景区域；

步骤S22、阴影消除，统计通过背景消除提取的前景区域中的灰度值，找出最大灰度值gmax和最小灰度值gmin，然后在灰度值小于T＝gmin+(gmax-gmin)*0.5的区域进行阴影消除；

步骤S23、区域分类，建立一个标准正面飞机区域模板，经过变化检测(即步骤S21、S22后)提取目标区域并求取该区域的垂直投影曲线，然后求取该垂直投影曲线与所述标准正面飞机区域模板的垂直投影曲线的相关系数，若该相关系数大于或等于0.9，则该目标为飞机。

S3、飞机识别及身份验证，对步骤S2捕获到的待停泊飞机进行机型及身份验证，以进一步保证所述待停泊飞机安全准确停泊。

参见图4，图4为飞机识别及验证流程图。在飞机进入站坪前，机场向所述泊位系统发送机型信息，飞机识别及身份验证过程就是通过对图像的分析来验证这一机型信息。参见图5，图5为分层图像结构示意图。优选采用由粗到精的多级视觉特征的检测方法，用于步骤S22所包含的所有飞机部件的检测。该由粗到精的多级视觉特征的检测方法用于在天气不好的情况下，比如雨雪雾天和夜晚，图像的噪声会变大，因此降低分辨率可以提高检测的效果，然后再映射会最大分辨率，进行飞机机型的识别验证。是在恶劣环境下检测飞机特征的一个方法，系统自动根据图像质量分析最佳的分辨率，以提取飞机轮廓。具体包括：

S0层图像具有最高的分辨率，SL层图像的分辨率最低。分层图像结构示意图见图5。在噪声较大的环境(例如雨雪雾天气、夜晚等)，采用较低分辨率的分层图像，而在天气晴朗的条件下，采用较高分辨率的分层图像以获得更高的精度。在低分辨率图像中获取飞机区域后再映射回原始图像S0之后，可以得到边缘具有马赛克效果的区域分割结果，以用于步骤S222的模板匹配。

步骤S3具体包括：

S31、参数验证，提取所述视频图像中的飞机参数并与预置于数据库中的机型数据进行比对，得到机型相似度参数，本实施例中，所述机型相似度参数为所述飞机引擎可信度系数、飞机机翼可信度系数、飞机机头可信度系数及所述飞机尾翼可信度系数中的最小值与最大值之比；

所述参数验证步骤S31进一步包括：

S311、提取飞机引擎参数，提取所述视频图像中的飞机引擎参数并与预置于数据库中对应机型的飞机引擎参数进行比对；

所述提取飞机引擎参数步骤S311具体包括：

S3111、图像极黑区域提取，对所述视频图像进行灰度直方图统计，在灰度级中间1％～99％范围内(通常也就是2～253的灰度级)获得像素数不为0的最大灰度值(gmax)/最小(gmin)灰度值的比值，使用预设优选为0.05的极黑判定阈值(BlackestJudge)来提取图像中灰度值在gmin到(gmax-gmin)*BlackestJudge+gmin之间的区域，也就是图像中最黑的部分，得到一幅极黑区域图像；典型的极黑区域示意图参见图6，图中的各个图形内部是极黑区域。

S3112、类圆形检测，提取该极黑区域图像的所有外层边界，对每一个边界使用边界的矩计算边界的重心坐标，边界的第ji阶矩定义如下：

重心坐标

重心坐标可由00、10、01阶矩计算得到：

对于当前边界的所有像素点，计算其与该重心的距离，若计算得到的最大距离与最小距离的比值大于一圆形判定阈值(circleJudge)，该圆形判定阈值例如可预设为1.5，则认为该区域非圆形，进行下一区域的判定，对于判定通过的区域，记录判定的类圆形区域的重心坐标和半径(即边界到重心的平均距离)，以进相似度判定；其中，m₀₁表示当前区域边界在y方向上的所有点y坐标值的总和，m₁₀为当前区域边界在x方向上的所有点x坐标值的总和，m₀₀为分别当前区域边界的点的个数；i,j取值0和1，m_ij表示m₀₁，m₁₀或m₀₀，x^j,yⁱ表示x的j次幂和y的i次幂；

S3113、相似度判定，参见图7，图7为相似度判定的流程图。若步骤S3112中检测到了M个类圆形区域，其中第e个类圆形区域和第f个类圆形区域的相似度的计算为：

Similarity_ef＝|Height_e-Height_f|*|Radius_e-Radius_f|

其中，Height为重心高度，Radius为半径，当相似度Similarity_ef小于预设的相似度阈值(similarThresh)时，则认为区域e和f为待停泊飞机的飞机引擎，例如该相似度阈值预设为40；

在步骤S3113中，若没有检测出飞机引擎，则进行迭代检测，将所述极黑判定阈值(BlackestJudge)、圆形判定阈值(circleJudge)、相似度阈值(similarThresh)分别增大，增加量优选分别取0.05、0.5、20，再进行步骤S3111-4113；若仍然没有检测出飞机引擎，则对所有的极黑区域使用7*7的圆形模板进行形态学处理的开操作，再进行步骤S3112-3113；

若仍然没有检测出飞机引擎，则再进行2次上述迭代检测。在对后续帧进行检测时，若其前一帧图像使用的迭代步数为n，则直接从第n-1步开始迭代。

若仍然没有检测出飞机引擎，则判定图像中无引擎存在。

S3114、参数比对，测量所述飞机引擎的半径并与预置于数据库中对应机型的飞机引擎参数进行比对，得到飞机引擎可信度系数。

S312、提取飞机机翼参数，提取所述视频图像中的飞机机翼参数并与预置于数据库中对应机型的飞机机翼参数进行比对；

参见图8，图8为飞机图像边缘示例图。本实施例中，使用Canny算子提取飞机图像的边缘。所述提取飞机机翼参数步骤S312具体包括：

S3121、提取飞机边缘像素点，提取所述视频图像的飞机边缘，沿远离所述待停泊飞机的登机桥一侧(图8中为左侧)的飞机引擎中轴向上枚举像素点，对每个像素点，各画多条斜率倾角为0-20°的直线，统计每条所述直线所经过的Canny边缘像素点数；

S3122、确定飞机机翼边缘，取经过所述边缘像素点的点数最多的两条直线作为所述待停泊飞机的飞机机翼的边缘；

S3123、确定飞机翼尖，取翼尖周围区域的边缘像素，作为翼尖特征参数记录下来；机翼轮廓与引擎轮廓参见图9。

S3124、参数比对，测量所述飞机机翼的长度，以像素为单位即可，并与预置于数据库中对应机型的飞机翼尖参数进行比对，得到飞机机翼可信度系数。

S313、提取飞机机头参数，提取所述视频图像中的飞机机头参数并与预置于数据库中对应机型的飞机机头参数进行比对；

所述提取飞机机头参数步骤S313具体包括：

S3131、确定飞机机头边界，通过已经确定的所述待停泊飞机的飞机引擎位置，确定所述待停泊飞机的中轴位置，枚举中轴上的点作为圆心，枚举2至4倍所述待停泊飞机的飞机引擎半径的长度为半径画圆，取经过Canny边缘像素点最多的圆作为所述待停泊飞机的飞机机头的边界；

S3132、确定飞机机头窗，由于窗户在机头的上半圆周，所以采用深度优先搜索的方法，寻找所述飞机机头的边界的上半圆中与所述飞机机头边界的边缘不相粘连的最长边缘，为所述飞机机头的机头窗所在位置；

S3133、参数比对，测量所述飞机机头的半径，以像素为单位即可，并与预置于数据库中对应机型的飞机机头参数进行比对，得到飞机机头可信度系数。

S314、提取飞机尾翼参数，提取所述视频图像中的飞机尾翼参数并与预置于数据库中对应机型的飞机尾翼参数进行比对。

所述提取飞机尾翼头参数步骤S314具体包括：

S3141、利用深度优先搜索的方法，沿所述飞机机头的边界的上边缘寻找突起的部分为所述待停泊飞机的飞机尾翼；

S3142、参数比对，测量所述飞机尾翼的高度，以像素为单位即可，并与预置于数据库中对应机型的飞机尾翼参数进行比对，得到飞机尾翼可信度系数。

S32、模板匹配，将所述视频图像与预置于所述数据库中的机型模板进行比对，得到模板相似度参数；

所述模板匹配步骤S32包括：

S321、全局模板匹配，以整幅所述视频图像为被搜索图像，以所述数据库中的标准飞机图像为模板，计算全局模板相似度参数；

S322、局部模板匹配，分别以S311-S314中提取得到的所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼位置为被搜索图像，分别以所述数据库中的标准飞机图像的引擎、机翼、机头和尾翼为模板，分别计算出所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼的4个相似度R，去掉所述4个相似度中的最小值，计算所述4个相似度中其余3个相似度的平均数为局部模板相似度参数。

参见图10，图10为被搜索图像S、子图Sij、模板T的示意图。具体地，模板匹配计算过程为：被搜索图像S6001，宽高为W*H，被搜索图像S的子图Sij6002宽高为n*m，距离图左边缘j个像素，距离图下边缘i个像素，模板T6003，宽高为n*m，与子图Sij的相似度：

在所有结果R(i,j)中找出R(i,j)的最大值Rmax(im,jm)，其对应的子图Sij即为匹配目标，Rmax(im,jm)也就是该子图Sij的相似度。

以整幅图像为被搜索图像，以机场机型参数数据库中的标准飞机图像为模板，计算相似度R，即为全局模板相似度参数。

分别以S311-S314中提取得到的引擎、机翼、机头、尾翼为被搜索图像，以机场机型参数数据库中的标准飞机图像的引擎、机翼、机头、尾翼为模板，计算出4个相似度，去掉最小的，剩下3个的平均数作为局部模板相似度参数。

S33、综合判断，所述机型数据相似度参数与所述模板相似度参数大于或等于一验证阈值时，则通过所述待停泊飞机的机型与身份验证；

所述综合判断步骤S33包括：

若所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数中至少有2个大于或等于0.85，则通过身份验证；或，所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数都大于0.7，则通过身份验证。否则验证失败。

S4、飞机跟踪及定位，通过对步骤S3验证后的待停泊飞机的飞机引擎和飞机前轮的视频图像连续跟踪和实时更新，以实现对所述待停泊飞机实时定位并准确判断所述待停泊飞机相对于引导线的偏离程度；

所述飞机跟踪及定位步骤S4可进一步包括：

S41、飞机跟踪，为实现对飞机实时定位并准确得到飞机相对引导线的偏离程度，根据引擎外壁和内部之间亮度的巨大差异和引擎的圆形结构，提取引擎的位置和半径，然后通过空间位置关系找到飞机前轮，对飞机进行定位。通过特征验证中的方法获得上一帧引擎位置之后，当前帧的引擎位置只会进行微小的移动，因此并不需要对全图进行重新检测，只在一个较小的扩展区域进行当前帧的引擎提取，上一帧的参数(BlackestJudge,circleJudge)将可以用于当前帧的目标检测。

通过步骤S2获得上一帧引擎位置后，采用洪水填充法跟踪确定当前引擎位置，由于引擎具有浅色的外壁，其灰度值会明显高于引擎内部的黑色区域，因此以上一帧的引擎中心为种子点，使用洪水填充法，可获得整个引擎的黑色区域。

S42、飞机定位，通过对摄像机标定与图像校正、飞机前轮偏离度计算和飞机前轮实际距离计算，准确实时定位待停泊飞机。

S5、信息显示，输出并显示步骤S3对所述待停泊飞机的机型与身份验证的判断结果，以及步骤S4中所述待停泊飞机实时定位及所述待停泊飞机相对于所述引导线偏离程度的结果。

其中，图3中点横线以上的飞机泊位场景配置步骤S1在安装系统之后、进行泊位引导之前执行，点横线以下的视频图像预处理、飞机捕获步骤S2、飞机识别及身份验证步骤S3、飞机跟踪步骤S41、飞机定位步骤S42、信息显示步骤S5均在泊位引导时执行，其中虚线框内的飞机跟踪步骤S41、飞机定位步骤S42、信息显示步骤S5可在泊位引导过程中实时执行和更新。

本发明在图像的极黑区域中检测类圆形，通过相似度判定检测出飞机引擎，在图像的边缘检测结果中检测倾斜的直线，提取得到机翼，借助引擎位置，在图像的边缘检测结果中检测圆形，提取得到机头，在机头位置上方提取得到尾翼；对视频图像中的飞机的各个参数(例如飞机高度、机翼翼展、引擎数量、引擎间距、机翼倾角、尾翼长度等)进行测量，与数据库中该机型的数据进行比对，得到机型相似度参数，参加最终的验证决策。利用数据库中存储的模板，与预处理后的视频图像中的飞机进行比对，检查其相似程度，从而验证上位机发送来的飞机机型的可信度。模板匹配又分为两部分：针对飞机的整个外轮廓进行全局模板匹配，根据模板匹配相似度，确定全局模板相似度参数，针对飞机的各个细节(例如机翼翼尖、尾翼、机头窗形状、引擎位置等)进行局部模板匹配，每个细节的相似度加权后，得到局部模板相似度参数，使用上述3个参数进行综合决策，确认机型，完成身份验证，使泊位信息充分有效，使飞机实现安全有效的泊位，提高机场运行效率和安全。其中，模板的生成策略优选为：在终端实装之后，暂时不进入引导工作模式，仅仅提取飞机的全局和各局部区域录入数据库，当某一机型采集样本足够大且相似时，使用整合策略将采集到的模板整合为该机型的标准模板。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种基于机器视觉的入坞飞机机型识别验证方法，其特征在于，包括如下步骤：

S1、飞机泊位场景设置，将监测场景划分为不同的信息处理功能区，以缩小通过摄像装置获得的飞机图像的处理区域范围，提高处理效率；

S2、飞机捕获，在设置好的飞机泊位场景中通过所述摄像装置捕获待停泊飞机的视频图像；

S3、飞机识别及身份验证，对步骤S2捕获到的待停泊飞机进行机型及身份验证，以进一步保证所述待停泊飞机安全准确停泊，包括：

S31、参数验证，提取所述视频图像中的飞机参数并与预置于数据库中的机型数据进行比对，得到机型相似度参数；

S32、模板匹配，将所述视频图像与预置于所述数据库中的机型模板进行比对，得到模板相似度参数；

S33、综合判断，所述机型相似度参数与所述模板相似度参数大于或等于一验证阈值时，则通过所述待停泊飞机的机型与身份验证；

S4、飞机跟踪及定位，通过对步骤S3验证后的待停泊飞机的飞机引擎和飞机前轮的视频图像连续跟踪和实时更新，以实现对所述待停泊飞机实时定位并准确判断所述待停泊飞机相对于引导线的偏离程度；以及

S5、信息显示，输出并显示步骤S3对所述待停泊飞机的机型与身份验证的判断结果，以及步骤S4中所述待停泊飞机实时定位及所述待停泊飞机相对于所述引导线偏离程度的结果；

其中，所述参数验证步骤S31包括：

S311、提取飞机引擎参数，提取所述视频图像中的飞机引擎参数并与预置于数据库中对应机型的飞机引擎参数进行比对；

S312、提取飞机机翼参数，提取所述视频图像中的飞机机翼参数并与预置于数据库中对应机型的飞机机翼参数进行比对；

S313、提取飞机机头参数，提取所述视频图像中的飞机机头参数并与预置于数据库中对应机型的飞机机头参数进行比对；以及

S314、提取飞机尾翼参数，提取所述视频图像中的飞机尾翼参数并与预置于数据库中对应机型的飞机尾翼参数进行比对；

所述提取飞机引擎参数步骤S311具体包括:

S3111、图像极黑区域提取；

S3112、类圆形检测；

S3113、在类圆区域中通过判断相似度判定飞机引擎；

S3114、根据相似度判定得到的飞机引擎，测量其半径，并与预置于数据库中对应机型的飞机引擎参数进行比对，得到飞机引擎可信度系数。

2.如权利要求1所述的基于机器视觉的入坞飞机机型识别验证方法，其特征在于，所述提取飞机机翼参数步骤S312具体包括：

S3121、提取飞机边缘像素点，提取所述视频图像的飞机边缘，沿远离所述待停泊飞机的登机桥一侧的飞机引擎中轴向上枚举像素点，对每个像素点，各画多条斜率倾角为0-20°的直线，统计每条所述直线所经过的边缘像素点数；

S3122、确定飞机机翼边缘，取经过所述边缘像素点的点数最多的两条直线作为所述待停泊飞机的飞机机翼的边缘；

S3123、确定飞机翼尖，取翼尖周围区域的边缘像素，作为翼尖特征参数记录下来；

S3124、参数比对，测量所述飞机机翼的长度并与预置于数据库中对应机型的飞机翼尖参数进行比对，得到飞机机翼可信度系数。

3.如权利要求2所述的基于机器视觉的入坞飞机机型识别验证方法，其特征在于，所述提取飞机机头参数步骤S313具体包括：

S3131、确定飞机机头边界，通过已经确定的所述待停泊飞机的飞机引擎位置，确定所述待停泊飞机的中轴位置，枚举中轴上的点作为圆心，枚举2至4倍所述待停泊飞机的飞机引擎半径的长度为半径画圆，取经过边缘像素点最多的圆作为所述待停泊飞机的飞机机头的边界；

S3132、确定飞机机头窗，采用深度优先搜索的方法，寻找所述飞机机头的边界的上半圆中与所述飞机机头边界的边缘不相粘连的最长边缘，为所述飞机机头的机头窗所在位置；

S3133、参数比对，测量所述飞机机头的半径并与预置于数据库中对应机型的飞机机头参数进行比对，得到飞机机头可信度系数。

4.如权利要求3所述的基于机器视觉的入坞飞机机型识别验证方法，其特征在于，所述提取飞机尾翼参数步骤S314具体包括：

S3141、利用深度优先搜索的方法，沿所述飞机机头的边界的上边缘寻找突起的部分为所述待停泊飞机的飞机尾翼；

S3142、参数比对，测量所述飞机尾翼的高度并与预置于数据库中对应机型的飞机尾翼参数进行比对，得到飞机尾翼可信度系数。

5.如权利要求4所述的基于机器视觉的入坞飞机机型识别验证方法，其特征在于，所述机型相似度参数为所述飞机引擎可信度系数、飞机机翼可信度系数、飞机机头可信度系数及所述飞机尾翼可信度系数中的最小值与最大值之比。

6.如权利要求5所述的基于机器视觉的入坞飞机机型识别验证方法，其特征在于，所述模板匹配步骤S32包括：

S321、全局模板匹配，以整幅所述视频图像为被搜索图像，以所述数据库中的标准飞机图像为模板，计算全局模板相似度参数；

S322、局部模板匹配，分别以S311-S314中提取得到的所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼位置为被搜索图像，分别以所述数据库中的标准飞机图像的引擎、机翼、机头和尾翼为模板，分别计算出所述飞机引擎、飞机机翼、飞机机头和所述飞机尾翼的4个相似度，去掉所述4个相似度中的最小值，计算所述4个相似度中其余3个相似度的平均数为局部模板相似度参数。

7.如权利要求6所述的基于机器视觉的入坞飞机机型识别验证方法，其特征在于，所述综合判断步骤S33包括：

若所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数中至少有2个大于或等于0.85，则通过身份验证，或，所述机型相似度参数、全局模板相似度参数和所述局部模板相似度参数都大于0.7，则通过身份验证。

8.如权利要求6所述的基于机器视觉的入坞飞机机型识别验证方法，其特征在于，在步骤S3113中，若没有检测出飞机引擎，则进行迭代检测，将极黑判定阈值、圆形判定阈值、相似度阈值分别增大，再进行步骤S3111-3113；若仍然没有检测出飞机引擎，则对所有的极黑区域使用7*7的圆形模板进行开操作，再进行步骤S3112-3113；

若仍然没有检测出飞机引擎，则再进行2次上述迭代检测；

若仍然没有检测出飞机引擎，则判定图像中无引擎存在。

9.一种用于上述权利要求1-8中任意一项所述的基于机器视觉的入坞飞机机型识别验证方法的入坞飞机机型识别验证系统。