CN105447431A - 一种基于机器视觉的入坞飞机跟踪定位方法及系统 - Google Patents

Abstract

一种基于机器视觉的入坞飞机跟踪定位方法及系统，该方法包括将监测场景划分为不同的信息处理功能区，在设置好的飞机泊位场景中捕获待停泊飞机，包括背景消除、阴影消除、区域分类和特征验证，通过检测捕获到的飞机的引擎和前轮来进一步验证该目标是否为飞机，通过对捕获到的飞机引擎和飞机前轮的图像连续跟踪和实时更新，以实现对飞机实时定位并准确判断飞机相对于引导线的偏离程度，输出并显示对飞机实时定位及飞机相对于引导线偏离程度的结果。本发明还公开了一种用于上述基于机器视觉的入坞飞机跟踪定位方法的入坞飞机跟踪定位系统，以有效实现飞机入坞过程的飞机捕获、跟踪与定位，提高民航机场自动化、智能化和运营管理的水平。

Description

一种基于机器视觉的入坞飞机跟踪定位方法及系统

技术领域

本发明涉及一种用于智能飞机泊位引导系统的飞机跟踪和定位方法，特别是一种用于飞机泊位引导的运动物体检测、跟踪、特征识别，以及图像标定、物体定位的基于机器视觉的入坞飞机跟踪定位方法及系统。

背景技术

飞机泊位引导是指将到港飞机从滑行道末端导引至机坪的停机位置并准确停泊的过程。飞机泊位引导的目的是保障入坞飞机安全准确停泊，能方便飞机与各种地勤接口的准确对接，并使登机桥能有效靠接飞机舱门，提高机场运行效率和安全。自动飞机泊位引导系统按使用传感器的类型不同主要分为：(1)地埋线圈类；(2)激光扫描测距类；(3)视觉感知类。地埋感应线圈类自动引导系统通过探测是否有金属物体经过或停留来确定入坞飞机的位置。地埋感应线圈的优点是响应速度快、成本低，对天气和照度无要求，但误差较大、抗干扰能力低。同时，埋在地下的引线和电子元件容易被压坏、可靠性不高，测量精度不高，不能识别机型，可调试可维修性差。激光扫描测距类自动引导系统通过激光测距和激光扫描来确定飞机位置、速度和机型等信息，不受环境照度的影响、且受天气影响较小，精度较高，可调试可维修性好。视觉感知类自动引导系统通过光学成像方式获取飞机入坞过程的图像信息，进而通过智能化信息处理技术确定入坞飞机的位置、速度和机型等信息，系统架构简单、成本低，具有高的智能化水平，可调性可维护性较好，但对天气和照度有要求、适应性较差。

随着视觉感知成像技术、智能化信息处理技术和计算机技术的不断深入发展，可视化飞机泊位引导技术能精确、快速获取入坞飞机的入坞信息，已在机场的泊位引导系统中得到应用。美国Honeywell公司研制的可视化飞机泊位引导系统(VDGS)和德国西门子公司研制的视频泊位引导系统(VDOCKS)作为国际领先水平的视觉引导设备也在国际上一些机场得到应用，但这些系统对天气和照度要求较高、适应性较差。

发明内容

本发明所要解决的技术问题是提供一种基于机器视觉的入坞飞机跟踪定位方法及系统，能有效实现飞机入坞过程的飞机捕获、跟踪与定位，以有效提高民航机场自动化、智能化和运营管理的水平。

为了实现上述目的，本发明提供了一种基于机器视觉的入坞飞机跟踪定位方法，其中，包括如下步骤：

S1、飞机泊位场景设置，将监测场景划分为不同的信息处理功能区，以缩小图片的处理区域范围，提高处理效率；

S2、飞机捕获，在设置好的飞机泊位场景中捕获待停泊飞机，包括：

S21、背景消除，基于中值滤波的背景模型、混合高斯背景模型或基于核密度概率估计的背景模型来拟合场景中背景的动态分布并进行背景建模，然后将当前帧与背景模型作差分以消除背景，以凸显前景区域；

S22、阴影消除，统计通过背景消除提取的该前景区域中的灰度值，找出最大灰度值gmax和最小灰度值gmin，然后在灰度值小于T＝gmin+(gmax-gmin)*0.5的区域进行阴影消除；

S23、区域分类，建立一个标准正面飞机区域模板，提取目标区域并求取该区域的垂直投影曲线，然后求取该垂直投影曲线与所述标准正面飞机区域模板的垂直投影曲线的相关系数，若该相关系数大于或等于0.9，则该目标为飞机；

S24、特征验证，通过检测捕获到的飞机的引擎和前轮来进一步验证该目标是否为飞机；

S3、飞机跟踪及定位，通过对步骤S2捕获到的飞机引擎和飞机前轮的图像连续跟踪和实时更新，以实现对飞机实时定位并准确判断飞机相对于引导线的偏离程度；

S4、信息显示，输出并显示步骤S3对飞机实时定位及飞机相对于引导线偏离程度的结果。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，所述特征验证步骤S24包括：

S241、图像极黑区域提取，对检测到的前景图像进行灰度直方图统计，在灰度级中间1％～99％范围内获得像素数不为0的最大灰度值/最小灰度值的比值，使用预设的阈值提取图像中最黑的部分，得到一幅极黑区域；

S242、类圆形检测，提取该极黑区域的所有外层边界，对每一个边界使用边界的矩计算边界的重心坐标，边界的第ji阶矩定义如下：

$m_{\mathrm{ji}}=\underset{x,y}{\mathrm{\Σ}}\left(f(x,y)x^j{y}^i\right)$

重心坐标

$\stackrel{\‾}{x}=\frac{m_{10}}{m_{00}},\stackrel{\‾}{y}=\frac{m_{01}}{m_{00}}$

对于当前边界的所有像素点，计算其与该重心的距离，若计算得到的最大距离与最小距离的比值大于一预设值，则认为该区域非圆形，进行下一区域的判定，记录判定的类圆形区域的重心坐标和半径；

S243、在类圆区域中通过判断相似度检测飞机引擎；

S244、检测飞机前轮，确认该飞机引擎和前轮则捕获成功。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，在类圆区域中检测飞机引擎步骤S243中，假设一共检测到了M个类圆形区域，其中第i个和第j个的相似度的计算为：

Similarity_ij＝|Height_i-Height_j|*|Radius_i-Radius_j|

其中，Height为重心高度，Radius为半径，当相似度Similarity_ij小于预设为40的阈值时，则认为区域i和j为飞机引擎。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，在步骤S243中，若没有检测出飞机引擎，则进行迭代检测，将极黑判定阈值(BlackestJudge)、圆形判定阈值(circleJudge)、相似度阈值(similarThresh)，再进行步骤S241-243；若仍然没有检测出飞机引擎，则对所有的极黑区域使用7*7的圆形模板进行开操作，再进行步骤S242-243；

若仍然没有检测出飞机引擎，则再进行2次上述迭代检测；

若仍然没有检测出飞机引擎，则判定图像中无引擎存在。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，极黑判定阈值(BlackestJudge)、圆形判定阈值(circleJudge)、相似度阈值(similarThresh)的增加量分别为0.05、0.5、20。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，步骤S244中，将检测到的飞机引擎中间及高度为4个引擎半径的区域作为飞机前轮的搜索区域，在搜索区域中，将256级的灰度级量化至64级，搜索量化为64级的灰度直方图中的第一个波峰和波谷，原始256级灰度的灰度直方图中的最优波峰位置BestPeak、最优波谷BestValley位置定义如下：

$\mathrm{BestPeak}=\underset{\mathrm{peak}*4-4\≤i\≤\mathrm{peak}*4+3}{\arg \max }\left\{{\mathrm{hist}}_{256}\left(i\right)\right\}$

$\mathrm{BestValley}=\underset{\mathrm{BestPeak}<i\&le;\mathrm{valley}*4+3}{\arg \min }\left\{{\mathrm{hist}}_{256}\left(i\right)\right\}$

其中hist₂₅₆(i)为256级灰度的灰度直方图中，灰度为i的像素总数；

以此最优波谷BestValley对灰度进行分割，对小于最优波谷BestValley的部分，除去面积较小的杂点，使用一个扁平椭圆型结构元素对图像进行闭操作；

接着对所有图形计算边界的7阶Hu矩特征，与预置的标准前轮模型的矩特征进行比对，当相似度低于一阈值时则判定中间一个为前轮。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，所述飞机跟踪及定位步骤S3包括：

S31、飞机跟踪，通过步骤S24获得上一帧引擎位置(即前述的符合引擎特征的区域i和区域j)后，采用洪水填充法跟踪确定当前引擎位置，获取到引擎位置后，使用步骤S244的方法跟踪飞机前轮；

S32、飞机定位，通过对摄像机标定与图像校正、飞机前轮偏离度计算和飞机前轮实际距离计算，准确实时定位待停泊飞机。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，所述步骤S31，还包括：

S311、阴暗环境中引擎的检测跟踪，在天色阴暗或低照度时，使用上一帧的参数(即极黑判定阈值:BlackestJudge、圆形判定阈值:circleJudge、相似度阈值:similarThresh)进行图像极黑区域提取和类圆形检测来检测跟踪引擎，若仍无法获得可信的引擎区域，则重新使用最多两次特征验证(即步骤S24)中的方法进行检测。

S312、前轮跟踪应急处理，在当前帧检测前轮形状不正确或检测到的前轮位置与之前5～10帧中所检测的前轮位置相比发生明显偏离时，根据上一帧和这一帧的信息，利用相邻两帧引擎的位移对该帧的前轮位移进行估计，将估计结果作为前轮跟踪结果，如果超出N帧仍检测不到，则输出错误信息。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，所述摄像机标定与图像校正包括：

a、读取N幅标定图像；

b、使用OpenCV的cvFindChessboardCorners函数寻找棋盘角点；

c、将读取的所述N幅标定图像分别代入所述cvFindChessboardCorners函数，如果成功寻找到所有的角点，则函数返回1，并得到角点在图像坐标系下坐标；如果不成功则返回0；

d、将成功寻找到的所述角点在标定模板上的坐标代入所述函数cvCalibrateCamera2中，返回得到摄像机内参数矩阵、畸变系数、旋转向量和平移向量。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，所述飞机前轮偏离程度计算包括：

通过前轮跟踪的结果得到前轮的位置坐标点，通过场景定义得到引导线、停止线的信息，利用所述位置坐标点与所述引导线和停止线的关系，求得引导线的直线方程为：y₁＝k₁x₁+b₁，同理，求得停止线的直线方程为：y₂＝k₂x₂+b₂，所述位置坐标点到直线的距离为：

$d=\frac{\mathrm{kx}-y+b}{\sqrt{k^2+1}},$

将当前飞机前轮的坐标点(x₀,y₀)代入两个直线方程分别求得d₁和d₂，d₂≥0表示飞机前轮超出停止线，d₂<0表示飞机前轮未到达停止线，此时若k₁>0，d₁>0则表示飞机偏左，d₁<0表示飞机偏右；若k₁<0，则d₁<0表示飞机偏左，d₁>0表示飞机偏右，该偏左、偏右均以飞机驾驶员的视角确定。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，加入判断条件|d₁|>width/2，width为一等于检测的飞机前轮的宽度的阈值，当满足该判断条件时，认为飞机已经偏离引导线。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，所述飞机前轮实际距离计算包括：

首先建立图像坐标与大地坐标的对应关系；

由场景定义得到图像坐标，采用最小二乘法对该图像坐标进行二次曲线拟合，得到曲线方程y＝ax²+bx+c，x是图像上的距离，y是实际距离；

对于飞机前轮在图像上的位置，沿所述停止线方向将其投影到所述引导线上，计算投影点到停止点的欧氏距离作为x，代入方程y＝ax²+bx+c求得y，得到飞机前轮到停止线的实际距离。

上述的基于机器视觉的入坞飞机跟踪定位方法，其中，在飞机捕获步骤之后，信息显示步骤之前，还可包括飞机识别及身份验证步骤。

为了更好地实现上述目的，本发明还提供了一种用于上述基于机器视觉的入坞飞机跟踪定位方法的入坞飞机跟踪定位系统。

本发明的技术效果在于：

本发明的可视化智能飞机泊位引导系统，能有效实现飞机入坞过程的飞机捕获、跟踪与定位、机型识别与身份验证等功能，而且具有智能化的站坪可视化监控功能，能有效提高民航机场自动化、智能化和运营管理的水平。在本发明的飞机泊位引导系统中，飞机跟踪与飞机定位是以泊位飞机捕获结果为基础，在图像的极黑区域中检测类圆形，检测出飞机引擎，后续帧中，在前帧中的引擎位置附近不断检测引擎以实现引擎跟踪，再根据引擎的位置，利用灰度分布规律和飞机前轮的矩特征不断检测飞机前轮以实现前轮跟踪，通过摄像机标定与图像校正，建立图像位置和实际位置及距离的精确关系，通过图像中的前轮位置解算飞机实际位置和距离信息，实现对飞机泊位的实时引导。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明一实施例的飞机泊位引导系统结构示意图；

图2为本发明飞机泊位引导工作原理图；

图3为本发明一实施例的飞机泊位引导流程图；

图4为本发明一实施例的场景定义示意图；

图5为本发明一实施例的极黑区域示意图；

图6为本发明一实施例的相似度判定流程图；

图7为本发明一实施例的256级灰度的灰度直方图；

图8为本发明一实施例的64级灰度的灰度直方图；

图9为本发明一实施例的前轮检测闭操作效果示意图；

图10为本发明一实施例的飞机引擎部分图像示意图；

图11为本发明一实施例的引擎跟踪流程图；

图12为本发明一实施例的摄像机标定流程图；

图13为本发明一实施例的实际距离与图像距离的对应点及拟合曲线图。

其中，附图标记

1摄像装置

2中央处理设备

3显示设备

4飞机泊位站坪

41停止线

42引导线

5飞机

6捕获区

7跟踪定位区

8地勤设备区

9标记点

91第一标记点

10第一个波峰

11第一个波谷

S1-S5步骤

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

参见图1及图2，图1为本发明一实施例的飞机泊位引导系统结构示意图，图2为本发明飞机泊位引导工作原理图。本发明的基于机器视觉的入坞飞机跟踪定位系统，主要由摄像装置1、中央处理设备2和显示设备3组成。摄像装置1与中央处理设备2连接，中央处理设备2与显示设备3连接，摄像装置1将拍摄的图像发送给中央处理设备2，中央处理设备2将包含引导信息的显示内容发送给显示设备3。其中，摄像装置1安装在飞机泊位站坪4的停止线41后方，正对引导线42为宜，安装高度要高于飞机5的机身，在4-8m左右为宜。中央处理设备2可以是一种拥有接受数据、处理数据、储存数据、生成显示图像数据、发送数据能力的计算装置，包括用于执行飞机泊位场景配置、视频图像预处理、飞机捕获、飞机跟踪、飞机定位、飞机识别及身份验证的多个功能模块，以及生成用于信息显示内容的模块，全部作为软件安装在中央处理设备2中。显示设备3优选为安装于机场中可供飞机驾驶员观看的大型信息显示屏，另外，机场工作人员也可配备手持式显示设备以观察飞机情况。

参见图3，图3为本发明一实施例的飞机泊位引导流程图。本发明基于机器视觉的入坞飞机跟踪定位方法，包括如下步骤：

步骤S1、飞机泊位场景设置，将监测场景划分为不同的信息处理功能区，以缩小图片的处理区域范围，提高处理效率；

首先需要在实际场景中进行场景定义，紧邻引导线铺设一条黑白间隔的标尺，黑色与白色的长度间隔形同，长度间隔最大1m，可根据摄像装置的分辨率，使用长度间隔为0.5m、0.25m等更精细的标尺，标尺的总长度不超过对飞机位置进行距离解算的范围，通常为50m，其他工作通过预先编写的软件执行，软件打开并显示摄像装置拍摄的画面，并通过手动绘制线条、选框和点，来标记相关区域，并保存记录。

拍摄没有飞机时的飞机泊位场景图像并显示，场景定义示意图见图4，图框中表示进行标定操作时所显示的画面和可用于描绘的区域，图中虚线线框可以是手动描绘的位置，可以在显示的图像上手动绘制线条，分别标记出引导线42和停止线41，保存记录引导线42和停止线41在图像中的位置信息；再手动绘制选框，分别标记出捕获区6、跟踪定位区7和相关地勤设备区8，保存记录捕获区6和跟踪定位区7在图像中的位置信息；再根据场景中铺设的标尺，手动画点，标记出紧邻引导线旁边的最大间隔为1m的所有标记点9，保存记录所有标记点9在图像中的位置信息，以及每个标记点9在实际场景中距离第一标记点91的距离。其中，标记引导线42、停止线41和标记点9的时候，可将需要标记的图像部分放大，放大到数十像素宽时，手动在其中间部分标记，以提高标记精度。标记的捕获区6和跟踪定位区7的位置不需要非常严格，捕获区6上边缘在实际场景中的位置距离停止线41大约100m，捕获区6下边缘在实际场景中的位置距离停止线41大约50m，跟踪定位区7上边缘在实际场景中的位置距离停止线41大约50m，跟踪定位区7下边缘在停止线41以下即可。

其次，进行图像预处理，即利用常用的图像处理方法，包括亮度校正、去噪等，改善图像的视觉效果，提高图像成分的清晰度或者使图像变得更有利于计算装置处理。

步骤S2、飞机捕获，在设置好的飞机泊位场景中捕获待停泊飞机，包括：

步骤S21、背景消除，利用基于中值滤波的背景模型、混合高斯背景模型或基于核密度概率估计的背景模型来模拟场景中背景的动态分布并进行背景建模，然后将当前帧与背景模型作差分以消除背景，以凸显前景区域；

步骤S22、阴影消除，统计通过背景消除提取的前景区域中的灰度值，找出最大灰度值gmax和最小灰度值gmin，然后在灰度值小于T＝gmin+(gmax-gmin)*0.5的区域进行阴影消除；

步骤S23、区域分类，建立一个标准正面飞机区域模板，经过变化检测(即步骤S21、S22后)提取目标区域并求取该区域的垂直投影曲线，然后求取该垂直投影曲线与所述标准正面飞机区域模板的垂直投影曲线的相关系数，若该相关系数大于或等于0.9，则该目标为飞机；

步骤S24、特征验证，通过检测捕获到的飞机的引擎和前轮来进一步验证该目标是否为飞机；

所述特征验证步骤S24进一步包括：

S241、图像极黑区域提取，参见图5，图5为本发明一实施例的极黑区域示意图。对图像进行灰度直方图统计，在灰度级中间1％～99％范围内(通常也就是2～253的灰度级)获得像素数不为0的最大(gmax)灰度值/最小(gmin)灰度值的灰度值比值，使用预设的阈值提取图像中最黑的部分，得到一幅极黑区域；本实施例中，使用一个预设为0.05的阈值BlackestJudge，来提取图像中灰度值在gmin到(gmax-gmin)*BlackestJudge+gmin之间的区域，也就是图像中最黑的部分，得到一幅极黑区域，一幅典型的极黑区域示意图见图5，图中的各个图形内部是极黑区域。

S242、类圆形检测，提取该极黑区域的所有外层边界，对每一个边界使用边界的矩计算边界的重心坐标，边界的第ji阶矩定义如下：

$m_{\mathrm{ji}}=\underset{x,y}{\mathrm{\&Sigma;}}\left(f(x,y)x^j{y}^i\right)$

重心坐标可由00、10、01阶矩计算得到：

$\stackrel{\&OverBar;}{x}=\frac{m_{10}}{m_{00}},\stackrel{\&OverBar;}{y}=\frac{m_{01}}{m_{00}}$

对于当前边界的所有像素点，计算其与该重心的距离，若计算得到的最大距离与最小距离的比值大于一预设值(优选为1.5的阈值circleJudge)，则认为该区域非圆形，进行下一区域的判定，对于判定通过的区域，记录判定的类圆形区域的重心坐标和半径(即边界到重心的平均距离)，以进相似度判定；

S243、在类圆区域中通过判断相似度检测飞机引擎，参见图6，图6为本发明一实施例的相似度判定流程图，；

具体为，在类圆区域中检测飞机引擎步骤S243中，假设一共检测到了M个类圆形区域，其中第i个和第j个的相似度的计算为：

Similarity_ij＝|Height_i-Height_j|*|Radius_i-Radius_j|

其中，Height为重心高度，Radius为边界到重心的平均距离(即半径)，当相似度Similarity_ij小于预设为40的阈值similarThresh时，则认为区域i和j为飞机引擎。

若没有检测出飞机引擎，则进行迭代检测，将极黑判定阈值(BlackestJudge)、圆形判定阈值(circleJudge)、相似度阈值(similarThresh)分别增大，再进行步骤S241-243，极黑判定阈值(BlackestJudge)、圆形判定阈值(circleJudge)、相似度阈值(similarThresh)的增加量分别优选为0.05、0.5、20；若仍然没有检测出飞机引擎，则对所有的极黑区域使用半径为R(优选尺寸R＝7)的圆形模板进行开操作，再进行步骤S242-243；

若仍然没有检测出飞机引擎，则再进行2次上述迭代检测；

若仍然没有检测出飞机引擎，则判定图像中无引擎存在。在对后续帧进行检测时，若其前一帧图像使用的迭代步数为n，则直接从第n-1步开始迭代。

S244、检测飞机前轮，确认该飞机引擎和前轮则捕获成功；

将检测到的飞机引擎中间及高度为4个引擎半径的区域作为飞机前轮的搜索区域，在搜索区域中，将256级的灰度级量化至64级(56级灰度的灰度直方图参见图7，量化后的64级灰度的灰度直方图参见图8)，搜索量化为64级的灰度直方图中的第一个波峰10和第一个波谷11，设量化后的第一个波峰位置为peak，波谷位置为valley，则原始256级灰度的灰度直方图中的最优波峰位置BestPeak、最优波谷BestValley位置定义如下：

$\mathrm{BestPeak}=\underset{\mathrm{peak}*4-4\&le;i\&le;\mathrm{peak}*4+3}{\arg \max }\left\{{\mathrm{hist}}_{256}\left(i\right)\right\}$

$\mathrm{BestValley}=\underset{\mathrm{BestPeak}<i\&le;\mathrm{valley}*4+3}{\arg \min }\left\{{\mathrm{hist}}_{256}\left(i\right)\right\}$

其中hist₂₅₆(i)为256级灰度的灰度直方图中，灰度为i的像素总数；

以此最优波谷BestValley对灰度进行分割，对小于最优波谷BestValley的部分，除去面积较小的杂点，使用一个扁平椭圆型结构元素对图像进行闭操作，效果示例参见图9；

接着对所有图形计算边界的7阶Hu矩特征，与预置的标准前轮模型的Hu矩特征进行比对(关于HU距特征：几何矩是由Hu(Visualpatternrecognitionbymomentinvariants)在1962年提出的，具有平移、旋转和尺度不变性。Hu利用二阶和三阶中心距构造的7个不变距。故此，7阶Hu距特征的7阶是唯一确定的)，当相似度低于一阈值(优选取值1)时则判定为轮子。这样会得到多个轮子的位置，中间靠下的轮子即为前轮。

步骤S3、飞机跟踪及定位，通过对步骤S2捕获到的飞机引擎和飞机前轮的图像连续跟踪和实时更新，以实现对飞机实时定位并准确判断飞机相对于引导线的偏离程度；

所述飞机跟踪及定位步骤S3可进一步包括：

S31、飞机跟踪，为实现对飞机实时定位并准确得到飞机相对引导线的偏离程度，根据引擎外壁和内部之间亮度的巨大差异和引擎的圆形结构，提取引擎的位置和半径，然后通过空间位置关系找到飞机前轮，对飞机进行定位。通过特征验证中的方法获得上一帧引擎位置之后，当前帧的引擎位置只会进行微小的移动，因此并不需要对全图进行重新检测，只在一个较小的扩展区域进行当前帧的引擎提取，上一帧的参数(BlackestJudge,circleJudge)将可以用于当前帧的目标检测。

参见图11，图11为本发明一实施例的引擎跟踪流程图。通过步骤S24获得上一帧引擎位置后，采用洪水填充法跟踪确定当前引擎位置，由于引擎具有浅色的外壁，其灰度值会明显高于引擎内部的黑色区域，飞机引擎部分图像示例参见图10，因此以上一帧的引擎中心为种子点，使用洪水填充法，获得整个引擎的黑色区域。获取到引擎位置后，使用步骤S244的方法跟踪飞机前轮；

所述步骤S31，还包括：

S311、阴暗环境中引擎的检测跟踪，在天色阴暗或低照度时，引擎边界的灰度值可能不会比中心高太多，而且阴暗环境中图像噪声比正常光照下多，可能使洪水填充法可能出现溢出，使得到的引擎区域明显过大，且不再是圆形。针对这种情况，使用上一帧的参数进行图像极黑区域提取和类圆形检测来检测跟踪引擎，若仍无法获得可信的引擎区域，则重新使用最多两次特征验证中的方法进行检测。在连续使用阴暗环境检测跟踪检测20帧之后，将重新使用特征验证中的方法进行检测。在获取到引擎之后，使用前轮检测的方法检测飞机前轮，以用于飞机定位。

S312、前轮跟踪应急处理，在检测前轮形状不正确或前轮位置与之前5～10帧相比发生明显偏离时，根据上一帧和这一帧的信息，利用相邻两帧引擎的位移对该帧的前轮位移进行估计，将估计结果作为前轮跟踪结果，如果超出N帧(例如5帧，优选20～30帧)仍检测不到，则输出错误信息。

S32、飞机定位，通过对摄像机标定与图像校正、飞机前轮偏离度计算和飞机前轮实际距离计算，准确实时定位待停泊飞机。

其中，标定过程就是确定摄像机的内外部参数(例如几何和光学参数、摄像机相对于世界坐标系的方位)。参见图12，图12为本发明一实施例的摄像机标定流程图。摄像机标定基于OpenCV实现，采用黑白相间的平面棋盘格作为标定模板，摄像机需在不同的角度抓取多张平面标定模板的图片，来实现对摄像机的标定。为了使标定的结果更加精确，标定过程中至少需要10副7*8或更大棋盘的图像，并且需要抓取尽量多的不同角度的标定图片。所述摄像机标定与图像校正可包括：

a、读取N幅标定图片；

b、使用OpenCV的cvFindChessboardCorners函数寻找棋盘角点；

c、将读取的所述N幅标定图片分别代入所述cvFindChessboardCorners函数，如果成功寻找到所有的角点，则函数返回1，并得到角点在图像坐标系下坐标；如果不成功则返回0；

d、将成功寻找到的所述角点在标定模板上的坐标代入所述函数cvCalibrateCamera2中，返回得到摄像机内参数矩阵、畸变系数、旋转向量和平移向量。

由于实际的镜头有不同程度的畸变，主要是径向畸变，也有轻微的切向畸变。在函数cvCalibrateCamera2返回的畸变系数中包含了径向畸变系数和切向畸变系数，将它们带入OpenCV的函数cvUndistort2，即可在数学上去掉透镜畸变。

所述飞机前轮偏离程度计算即判断飞机前轮是否处于引导线上，还是相对于引导线偏左或偏右。通过前轮跟踪的结果可以得到前轮的位置坐标点，通过场景定义可以得到引导线、停止线等的相关信息，于是利用代数中点与直线之间关系的知识，即可实现这一功能。具体可包括：

通过前轮跟踪的结果得到前轮的位置坐标点(x₀,y₀)，通过场景定义得到引导线上任意两点坐标(x_G1,y_G1)、(x_G2,y_G2)和停止线上任意两点坐标(x_S1,y_S1)、(x_S2,y_S2)。如果引导线中两点的x坐标满足：x_G1＝x_G2，则不能用点斜式表示引导线42的直线方程1，此时直线方程1为：x₁＝x_G1，直线的斜率k₁→∞；当x_G1≠x_G2时，直线方程1为：y₁＝k₁x₁+b₁。同理，求得停止线41的直线方程2为：y₂＝k₂x₂+b₂，所述位置坐标点到直线的距离为，坐标系的建立是在图像上，从左到右为x轴，从下到上为y轴，使用修改后的点到直线的距离方程：

$d=\frac{\mathrm{kx}-y+b}{\sqrt{k^2+1}},$

不同于常用的距离方程，该方程得到的结果可正可负。将当前飞机前轮的坐标点(x₀,y₀)代入两个直线方程分别求得d₁和d₂：

$d_2=\frac{k_2{x}_0-y_0+b_2}{\sqrt{{k_2}^2+1}}$

d₂≥0表示飞机前轮超出停止线41，d₂<0表示飞机前轮未到达停止线41，此时若k₁>0(其中包括了k₁→+∞的情况)，d₁>0则表示飞机偏左，d₁<0表示飞机偏右；若k₁<0，则d₁<0表示飞机偏左，d₁>0表示飞机偏右，该偏左、偏右均以飞机驾驶员的视角确定。为了使算法不会过于敏感，任何d₁≠0的情况都得出“偏离引导线”的结论，可加入判断条件|d₁|>width/2，width为一阈值，可取等于检测的飞机前轮的宽度的阈值，当满足该判断条件时，才认为飞机已经偏离引导线。

由参数判定偏离情况见表1。

所述飞机前轮实际距离计算包括：

实时解算飞机距离停止线的真实距离。首先建立图像坐标与大地坐标的对应关系。先在场景中紧邻引导线铺设黑白相间的标尺，随后在场景定义中根据标尺，每隔最大间隔1m描点得到标记点，并记录每个标记点在实际场景中距离第一标记点的距离。由场景定义得到的标记点的坐标都是图像坐标，以间隔1m的20个点为例，分别为：{point1,point2,...,point20}，求得每个点相对停止线上的终点(point2)的相对坐标：{relativepoint1,relativepoint2,...,relativepoint20}，其中relativepoint2的坐标为(0,0)，每个点距离终点relativepoint2的距离为{dis1,dis2,...,dis20}，每个点距离终点point2的实际距离又分别为：{-1m,0m,1m,...,18m}(注意其中的负值表示超出停止线的实际距离)，这样得到了{dis1,dis2,...,dis20}与{-1m,0m,1m,...,18m}的一一对应关系。

因为地面上等间距的点在图像中的表现应为二次曲线关系，即随距离的增大，两点间距呈等差数列，由场景定义得到图像坐标，所以采用最小二乘法对所描的点进行二次曲线拟合，得到曲线方程y＝ax²+bx+c，x是图像上的距离，y是实际距离，实际距离与图像距离的对应点及拟合曲线示例图如图13，图中横轴是实际距离，单位为m，纵轴是图像距离，单位为像素；

对于飞机前轮在图像上的位置，沿所述停止线方向将其投影到所述引导线上，计算投影点到停止点的欧氏距离作为x，代入方程y＝ax²+bx+c求得y，得到飞机前轮到停止线的实际距离(单位m)。

步骤S4、信息显示，输出并显示步骤S3对飞机实时定位及飞机相对于引导线偏离程度的结果。

在飞机捕获步骤S2之后，信息显示步骤S4之前，还可包括飞机识别及身份验证步骤S5。

图3中点横线以上的飞机泊位场景配置步骤S1在安装系统之后、进行泊位引导之前执行，点横线以下的视频图像预处理、飞机捕获步骤S2、飞机跟踪步骤S31、飞机定位步骤S32、飞机识别及身份验证步骤S5、信息显示步骤S4均在泊位引导时执行，其中虚线框内的飞机跟踪步骤S31、飞机定位步骤S32、信息显示步骤S4在泊位引导过程中实时执行和更新。

本发明的用于智能飞机泊位引导系统的飞机跟踪和定位方法，基于机器视觉，对摄像装置拍摄的图像，在图像的极黑区域中检测类圆形，检测出飞机引擎，后续帧中，在前帧中的引擎位置附近不断检测引擎以实现引擎跟踪，再根据引擎的位置，利用灰度分布规律和飞机前轮的矩特征不断检测飞机前轮以实现前轮跟踪，通过摄像机标定与图像校正，建立图像位置和实际位置及距离的精确关系，通过图像中的前轮位置解算飞机实际位置和距离信息，飞机跟踪和定位紧接飞机捕获之后，能获得完整的飞机位置和有效的泊位信息，为飞机驾驶员、副驾驶员或其他人员提供正确有效的泊位引导，使飞机实现安全有效的泊位，提高机场运行效率和安全。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (14)

1.一种基于机器视觉的入坞飞机跟踪定位方法，其特征在于，包括如下步骤：

S1、飞机泊位场景设置，将监测场景划分为不同的信息处理功能区，以缩小图片的处理区域范围，提高处理效率；

S2、飞机捕获，在设置好的飞机泊位场景中捕获待停泊飞机，包括：

S21、背景消除，基于中值滤波的背景模型、混合高斯背景模型或基于核密度概率估计的背景模型来模拟场景中背景的动态分布并进行背景建模，然后将当前帧与背景模型作差分以消除背景；

S22、阴影消除，统计通过背景消除提取的前景区域中的灰度值，找出最大灰度值gmax和最小灰度值gmin，然后在灰度值小于T＝gmin+(gmax-gmin)*0.5的区域进行阴影消除；

S23、区域分类，建立一个标准正面飞机区域模板，经过变化检测提取目标区域并求取该区域的垂直投影曲线，然后求取该垂直投影曲线与所述标准正面飞机区域模板的垂直投影曲线的相关系数，若该相关系数大于或等于0.9，则该目标为飞机；

S24、特征验证，通过检测捕获到的飞机的引擎和前轮来进一步验证该目标是否为飞机；

S3、飞机跟踪及定位，通过对步骤S2捕获到的飞机引擎和飞机前轮的图像连续跟踪和实时更新，以实现对飞机实时定位并准确判断飞机相对于引导线的偏离程度；

S4、信息显示，输出并显示步骤S3对飞机实时定位及飞机相对于引导线偏离程度的结果。

2.如权利要求1所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，所述特征验证步骤S24包括：

S241、图像极黑区域提取，对图像进行灰度直方图统计，在灰度级中间1％～99％范围内获得像素数不为0的最大灰度值/最小灰度值的比值，使用预设的极黑判定阈值提取图像中最黑的部分，得到一幅极黑区域；

S242、类圆形检测，提取该极黑区域的所有外层边界，对每一个边界使用边界的矩计算边界的重心坐标，边界的第ji阶矩定义如下：

$m_{\mathrm{ji}}=\underset{x,y}{\mathrm{\&Sigma;}}\left(f(x,y)x^j{y}^i\right)$

重心坐标

$\stackrel{\&OverBar;}{x}=\frac{m_{10}}{m_{00}},\stackrel{\&OverBar;}{y}=\frac{m_{01}}{m_{00}}$

对于当前边界的所有像素点，计算其与该重心的距离，若计算得到的最大距离与最小距离的比值大于一圆形判定阈值，则认为该区域非圆形，进行下一区域的判定，记录判定的类圆形区域的重心坐标和半径；

S243、在类圆区域中通过判断相似度检测飞机引擎；

S244、检测飞机前轮，确认该飞机引擎和前轮则捕获成功。

3.如权利要求2所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，在类圆区域中检测飞机引擎步骤S243中，假设一共检测到了M个类圆形区域，其中第i个和第j个的相似度的计算为：

Similarity_ij＝|Height_i-Height_j|*|Radius_i-Radius_j|

其中，Height为重心高度，Radius为半径，当相似度Similarity_ij小于预设的相似度阈值时，则认为区域i和j为飞机引擎。

4.如权利要求3所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，在步骤S243中，若没有检测出飞机引擎，则进行迭代检测，将所述极黑判定阈值、圆形判定阈值、相似度阈值分别增大，再进行步骤S241-243；若仍然没有检测出飞机引擎，则对所有的极黑区域使用7*7的圆形模板进行开操作，再进行步骤S242-243；

若仍然没有检测出飞机引擎，则再进行2次上述迭代检测；

若仍然没有检测出飞机引擎，则判定图像中无引擎存在。

5.如权利要求4所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，所述极黑判定阈值、圆形判定阈值、相似度阈值的增加量分别为0.05、0.5、20。

6.如权利要求2、3、4或5所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，步骤S244中，将检测到的飞机引擎中间及高度为4个引擎半径的区域作为飞机前轮的搜索区域，在搜索区域中，将256级的灰度级量化至64级，搜索量化为64级的灰度直方图中的第一个波峰和波谷，原始256级灰度的灰度直方图中的最优波峰位置BestPeak、最优波谷BestValley位置定义如下：

$\mathrm{BestPeak}=\underset{\mathrm{peak}*4-4\&le;i\&le;\mathrm{peak}*4+3}{\arg \max }\left\{{\mathrm{hist}}_{256}\left(i\right)\right\}$

$\mathrm{BestValley}=\underset{\mathrm{BestPeak}<i\&le;\mathrm{valley}*4+3}{\arg \min }\left\{{\mathrm{hist}}_{256}\left(i\right)\right\}$

其中hist₂₅₆(i)为256级灰度的灰度直方图中，灰度为i的像素总数；

以此最优波谷BestValley对灰度进行分割，对小于最优波谷BestValley的部分，除去面积较小的杂点，使用一个扁平椭圆型结构元素对图像进行闭操作；

接着对所有图形计算边界的7阶Hu矩特征，与预置的标准前轮模型的矩特征进行比对，当相似度低于一阈值时则判定中间一个为前轮。

7.如权利要求2、3、4或5所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，所述飞机跟踪及定位步骤S3包括：

S31、飞机跟踪，通过步骤S24获得上一帧引擎位置后，采用洪水填充法跟踪确定当前引擎位置，获取到引擎位置后，使用步骤S244的方法跟踪飞机前轮；

S32、飞机定位，通过对摄像机标定与图像校正、飞机前轮偏离度计算和飞机前轮实际距离计算，准确实时定位待停泊飞机。

8.如权利要求7所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，所述步骤S31，还包括：

S311、阴暗环境中引擎的检测跟踪，在天色阴暗或低照度时，使用上一帧的参数进行图像极黑区域提取和类圆形检测来检测跟踪引擎，若仍无法获得可信的引擎区域，则重新使用最多两次特征验证中的方法进行检测。

S312、前轮跟踪应急处理，在检测前轮形状不正确或前轮位置与之前5～10帧相比发生明显偏离时，根据上一帧和这一帧的信息，利用相邻两帧引擎的位移对该帧的前轮位移进行估计，将估计结果作为前轮跟踪结果，如果超出N帧仍检测不到，则输出错误信息。

9.如权利要求7所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，所述摄像机标定与图像校正包括：

a、读取N幅标定图片；

b、使用OpenCV的cvFindChessboardCorners函数寻找棋盘角点；

c、将读取的所述N幅标定图片分别代入所述cvFindChessboardCorners函数，如果成功寻找到所有的角点，则函数返回1，并得到角点在图像坐标系下坐标；如果不成功则返回0；

d、将成功寻找到的所述角点在标定模板上的坐标代入所述函数cvCalibrateCamera2中，返回得到摄像机内参数矩阵、畸变系数、旋转向量和平移向量。

10.如权利要求7所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，所述飞机前轮偏离程度计算包括：

通过前轮跟踪的结果得到前轮的位置坐标点，通过场景定义得到引导线、停止线的信息，利用所述位置坐标点与所述引导线和停止线的关系，求得引导线的直线方程为：y₁＝k₁x₁+b₁，同理，求得停止线的直线方程为：y₂＝k₂x₂+b₂，所述位置坐标点到直线的距离为：

$d=\frac{\mathrm{kx}-y+b}{\sqrt{k^2+1}},$

将当前飞机前轮的坐标点(x₀,y₀)代入两个直线方程分别求得d₁和d₂，d₂≥0表示飞机前轮超出停止线，d₂<0表示飞机前轮未到达停止线，此时若k₁>0，d₁>0则表示飞机偏左，d₁<0表示飞机偏右；若k₁<0，则d₁<0表示飞机偏左，d₁>0表示飞机偏右，该偏左、偏右均以飞机驾驶员的视角确定。

11.如权利要求10所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，加入判断条件|d₁|>width/2，width为一等于检测的飞机前轮的宽度的阈值，当满足该判断条件时，认为飞机已经偏离引导线。

12.如权利要求7所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，所述飞机前轮实际距离计算包括：

首先建立图像坐标与大地坐标的对应关系；

由场景定义得到图像坐标，采用最小二乘法对该图像坐标进行二次曲线拟合，得到曲线方程y＝ax²+bx+c，x是图像上的距离，y是实际距离；

对于飞机前轮在图像上的位置，沿所述停止线方向将其投影到所述引导线上，计算投影点到停止点的欧氏距离作为x，代入方程y＝ax²+bx+c求得y，得到飞机前轮到停止线的实际距离。

13.如权利要求1、2、3、4、5、8、9、10、11或12所述的基于机器视觉的入坞飞机跟踪定位方法，其特征在于，在飞机捕获步骤之后，信息显示步骤之前，还可包括飞机识别及身份验证步骤。

14.一种用于上述权利要求1-13任意一项所述的基于机器视觉的入坞飞机跟踪定位方法的入坞飞机跟踪定位系统。