CN110866483B - 一种动静结合的机场跑道异物视觉检测与定位方法 - Google Patents

Abstract

本发明公开了一种动静结合的机场跑道异物视觉检测与定位方法，具体为：利用遥控车搭载相机在跑道上循迹检测，通过定位算法获取检测出的异物目标的位置信息，并发送给中央控制台，完成初次检测。初检更注重异物的检出率，与此同时提高了误检率。因此，本方法加入了二次检测的思想，通过加装固定式相机对初检结果展开进一步的检测。中央控制台在获取目标的位置后，向相应区域的固定式相机发送控制信号，调节云台转动角度和焦距使目标基本落于图像中心并清晰可见，通过二次检测来判断是否确为异物，若是，则发送指令给异物清除机构。本发明能够有效均衡漏检率与误检率，并得到准确可靠的异物位置信息，有助于实现异物检测、定位、清除一体化。

Description

一种动静结合的机场跑道异物视觉检测与定位方法

技术领域

本发明涉及一种动静结合的机场跑道异物视觉检测与定位方法，属于目标视觉检测与定位技术领域。

背景技术

目标的检测与定位是图像处理与机器视觉领域的一个重要研究方向，在日常生活、工业生产乃至军事领域都有着广泛的应用。为了清楚地掌握目标在实际场景中的信息，需要对目标进行检测与定位，其中检测的本质就是在一幅图像中找出感兴趣的对象。本发明以机场跑道异物为例，针对异物目标的检测与定位问题，展开方法的设计与实现。

机场跑道上散落的异物，例如飞机和发动机上的连接件(螺帽、螺钉等)、石头，很容易被吸入发动机，导致发动机失效，危及乘客和机组人员的生命安全。传统的异物清除方法是依靠工作人员定时对跑道、滑行道、停机坪等区域进行排查，这种方法耗时耗力、效率低下，而且对于某些小体积异物，例如与跑道颜色相近的小尺寸螺丝帽，肉眼是不易察觉的，因此，传统方法的可靠性也无法满足要求。除此之外，对于吞吐量较大的机场来说，人工排查的方法还可能会对航班的正常起降产生影响。

近年来，各大高校、研究所都对机场跑道异物的自动检测与定位技术展开了相应的研究。当检测到异物目标时，还需要对目标进行定位，从而给操作人员提供准确的位置信息，再由专门的工作人员进行异物清理。

但是在逐渐自动化、智能化的背景下，利用机械臂、机器人等异物清除机构代替工作人员来进行高效的异物清理工作也是目前的一种发展趋势。

发明内容

本发明所要解决的技术问题是：提供一种动静结合的机场跑道异物视觉检测与定位方法，可以得到准确、可靠的异物位置信息，发送给异物清除机构，实现异物检测、定位、清除一体化，能够有效均衡漏检率与误检率且通用性较强。

本发明为解决上述技术问题采用以下技术方案：

一种动静结合的机场跑道异物视觉检测与定位方法，包括如下步骤：

步骤1，在飞机起飞或降落前，利用遥控车搭载相机沿机场跑道进行扫描，采集机场跑道的道面图像；

步骤2，采用异物动态检测算法实时对采集的道面图像进行异物目标检测，当检测到异物目标时，采用针孔相机模型将异物目标在道面图像像素坐标系中的二维坐标转换为异物目标在车载坐标系中的坐标，其中，车载坐标系被定义为以相机光心在地面的竖直投影为原点O，遥控车前进方向为Y_car轴正方向，竖直向上为Z_car轴正方向的坐标系；

步骤3，根据遥控车上的卫星定位设备获取遥控车在跑道坐标系中的坐标，通过坐标系之间的转换，将异物目标在车载坐标系中的坐标转换为异物目标在跑道坐标系中的位置信息；

步骤4，将机场跑道等分为n个区域，每个区域配备一部能够扫描该区域全部道面的带有云台的长焦变焦相机，根据异物目标在跑道坐标系中的位置信息，确定异物目标所在区域，并向异物目标所在区域的长焦变焦相机发送控制信号；

步骤5，异物目标所在区域的长焦变焦相机收到信号后，通过改变云台角度和焦距倍数，对异物目标所在位置进行放大，使得异物目标落在图像的中心位置，再次采用异物动态检测算法进行二次检测，以判断是否确为异物，若是，则将异物的位置信息发送至异物清除机构。

作为本发明的一种优选方案，步骤2所述异物在车载坐标系中的坐标，公式为：

其中，[x_car,y_car,0]^T表示异物在车载坐标系中的坐标，[u,v]^T表示异物在道面图像像素坐标系中的二维坐标，/>为相机的内参数矩阵，f_x、f_y、u₀、v₀为相机内参数矩阵中的元素，h表示相机光心到地面的垂直距离，θ表示相机的安装倾斜角即相机的光轴与垂直面的夹角。

作为本发明的一种优选方案，步骤3所述跑道坐标系是以机场跑道起点为原点，遥控车前进方向为Y轴正方向，竖直向上为Z轴正方向。

作为本发明的一种优选方案，步骤4所述控制信号包括云台转动角度和焦距放大倍数。

作为本发明的一种优选方案，步骤2所述异物动态检测算法具体为：利用ITTI显著性模型生成道面图像的对比度图，利用形态学梯度方法提取道面图像的边缘信息，将对比度图与边缘信息进行加权融合得到异物度图。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明通过对初次检测的结果进行二次验证，可有效均衡误检率与漏检率，并提高异物清除的工作效率。

2、本发明移动平台的稳定性较高、可扩展性强，为异物检测、定位、清除一体化打下了基础。

3、本发明基于光学相机，具有灵敏度高、寿命长，且技术成熟、成像信息丰富的优势。

4、本发明的定位算法准确可靠。

附图说明

图1是本发明机场跑道异物视觉检测与定位方法流程图。

图2是本发明机场跑道异物视觉检测与定位方法实施示意图。

图3是本发明异物动态检测算法流程图。

图4是本发明简易遥控车载相机示意图。

图5是本发明车载相机安装侧视图。

图6是本发明针孔相机模型示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明设计的一种动静结合的机场跑道异物视觉检测与定位方法应用于机场，主要分为四个模块：图像采集、初次检测、异物定位与二次检测，如图1所示。一种动静结合的机场跑道异物视觉检测与定位方法，指的是一种通过将移动式相机和固定式相机结合的方式对机场跑道上的外来物进行检测与定位的方法。该方法主要包括光学相机、嵌入式开发板、光纤、无线图传、中央控制台、移动小车和卫星接收机等设备。光学相机主要用于采集道面图像信息，嵌入式开发板用于图像等数据的实时处理，光纤和无线图传用于传输开发板处理后的结果(包括图像等数据信息)到中央控制台进行显示，卫星接收机用于获取移动小车所在的位置信息。

在该方法中，为了方便表述，我们假设跑道长2400m，宽60m，将跑道分为A-H共8个长方形区域，每个区域的面积均为300m×60m，在跑道同侧等距离安装8部带有云台的长焦变焦相机，每部相机负责扫描对应的区域，如图2所示。再将一部相机搭载在无人小车(遥控车)上，随着小车循迹进行扫描，当移动相机采集到道面图像信息后，移动相机上配备的开发板同时对数据进行实时处理，根据异物动态检测算法从采集到的图像中检测出异物目标，并模拟针孔相机模型根据像素坐标系与世界坐标系之间的投影变换关系对目标进行定位，同时通过小车上配备的定位设备获取车辆在以跑道起点为原点，横向(也即车辆前进方向)为Y轴，纵向为X轴的跑道坐标系下的位置，从而得到异物目标在跑道坐标系下的位置。最后根据异物目标的位置信息调用相关区域的固定相机，调整相应的云台角度和焦距倍数，使得异物目标落在图像中心位置并清晰可见，从而进行二次检测，以确认是否为真实异物，若确实为异物，则向异物清除机构发送指令进行清理工作。

通过实验和调研可以发现，跑道上的异物种类无法提前得知，无法给出一个固定的指标将出现在跑道上的物体列入异物或者非异物的行列，因此，本方法借鉴ITTI显著性模型，模拟人类在日常生活中用来处理视觉信息的视觉特点，根据自底而上的注意机制对于与周围物体对比强烈的物体更敏感的特性，以物体与道面的对比度作为区分跑道上出现的物体是否为异物的标准。该模型的基本结构图如图3所示，其主要思想是利用高斯采样将源图像分解为9层高斯金字塔，再对每一层进行颜色特征、亮度特征、方向特征的提取，分别形成颜色、亮度、方向金字塔，之后采用Center-Surround(中心-周边差异计算)法获取视觉特征的变化情况，对不同层的图像进行跨尺度减法运算从而获取12张颜色特征图、6张亮度特征图以及24张方向特征图，最终对这42张特征图分别进行归一化操作形成各自的显著图并得到所需的显著图。

考虑到异物的边缘信息十分丰富，所以本方法在特征图的基础上加入了异物的边缘特征，采用拉普拉斯算子进行图像增强，通过形态学梯度的方法提取边缘特征，利用微小单元对图像进行膨胀和腐蚀，再将两者做差便可得到物体的边缘信息，最后将ITTI模型生成的对比度图与边缘信息进行加权融合得到最终的异物度图。异物度图上的每个像素值代表了该像素属于异物的程度，对异物度图进行阈值分割筛选出异物度高的图像区域，即是异物目标出现的区域。

由于跑道上经常出现一些微小的异物目标，因此在初次检测的过程中，为了能够尽可能多地检测出异物目标，算法的阈值被设置的较低，使得该方法在提高了异物检出率(也即降低了漏检率)的同时增加了误检率，因此，本方法加入了二次检测的思想，通过加装固定式相机对初次检测的结果展开进一步的检测，以筛选出初次检测中不属于异物的物体，从而有效均衡误检率与漏检率。

一种动静结合的机场跑道异物视觉检测与定位方法，包括以下步骤：

步骤1：飞机起降前，利用无人小车搭载相机(如图4所示)在跑道上沿轨迹进行扫描，完成图像的采集。

步骤2：在图像采集的同时，为移动相机配备的嵌入式开发板利用上面介绍的动态检测算法实时处理图像数据，检测异物目标。

步骤3：异物目标出现后，需对其进行定位，将移动相机在真实场景中的安装位置(如图4所示)投影到二维平面得到相机安装的简易侧视图，如图5所示。该图中共建立了两个坐标系，首先是以相机光心在地面的竖直投影为原点，小车前进方向为Y_car轴正方向，竖直向上方向为Z_car轴正方向的坐标系O-X_carY_carZ_car，本文将其定义为车载坐标系，二是以相机光心O_c为坐标原点，光轴为Z_c轴，建立的相机坐标系O_c-X_cY_cZ_c，其Y_c轴的正方向垂直于相机向上。除此之外，图中还包含两个可通过实际测量得出的量，为了方便表达式的计算，本发明将其设为h和θ，h表示相机光心到地面的垂直距离，θ表示相机的安装倾斜角即相机的光轴与垂直面的夹角。

根据针孔相机模型中像素坐标系、图像坐标系、相机坐标系和世界坐标系之间的关系，如图6所示，由异物目标在图像中的二维坐标可求得异物在车载坐标系中的坐标，推导过程如下：

式中：[u,v]^T指的是目标在像素坐标系中的坐标，[x_car,y_car,z_car]^T指的是目标在车载坐标系中的坐标，为相机的内参数矩阵，R指的是3×3的旋转矩阵T指的是3×1的平移矩阵/>

由于默认异物位于地面，因此z_car＝0，则式(1)为

式中：可求得：将z_c带入上式可得：

步骤4：利用小车上的卫星定位设备获取小车在以跑道起点为原点的跑道坐标系下的坐标，再次通过坐标系之间的转换，得到异物目标在跑道坐标系中的位置信息，中央控制台根据该信息向相关区域的固定式相机发送控制信号，主要包括云台转动角度和焦距放大倍数。

步骤5：指定区域的固定式相机收到信号后，通过改变云台角度和焦距的倍数，对异物目标所在位置进行放大，使其落在图像的中心位置并清晰可见，再利用步骤2中的动态检测算法进行二次检测，以判断是否确为异物，如果是，则发送指令给异物清除机构，开始清理异物。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种动静结合的机场跑道异物视觉检测与定位方法，其特征在于，包括如下步骤：

步骤1，在飞机起飞或降落前，利用遥控车搭载相机沿机场跑道进行扫描，采集机场跑道的道面图像；

步骤2，采用异物动态检测算法实时对采集的道面图像进行异物目标检测，当检测到异物目标时，采用针孔相机模型将异物目标在道面图像像素坐标系中的二维坐标转换为异物目标在车载坐标系中的坐标，其中，车载坐标系被定义为以相机光心在地面的竖直投影为原点O，遥控车前进方向为Y_car轴正方向，竖直向上为Z_car轴正方向的坐标系；

所述异物在车载坐标系中的坐标，公式为：

其中，[x_car,y_car,0]^T表示异物在车载坐标系中的坐标，[u,v]^T表示异物在道面图像像素坐标系中的二维坐标，/>为相机的内参数矩阵，f_x、f_y、u₀、v₀为相机内参数矩阵中的元素，h表示相机光心到地面的垂直距离，θ表示相机的安装倾斜角即相机的光轴与垂直面的夹角；

步骤3，根据遥控车上的卫星定位设备获取遥控车在跑道坐标系中的坐标，通过坐标系之间的转换，将异物目标在车载坐标系中的坐标转换为异物目标在跑道坐标系中的位置信息；

步骤4，将机场跑道等分为n个区域，每个区域配备一部能够扫描该区域全部道面的带有云台的长焦变焦相机，根据异物目标在跑道坐标系中的位置信息，确定异物目标所在区域，并向异物目标所在区域的长焦变焦相机发送控制信号；

步骤5，异物目标所在区域的长焦变焦相机收到信号后，通过改变云台角度和焦距倍数，对异物目标所在位置进行放大，使得异物目标落在图像的中心位置，再次采用异物动态检测算法进行二次检测，以判断是否确为异物，若是，则将异物的位置信息发送至异物清除机构。

2.根据权利要求1所述动静结合的机场跑道异物视觉检测与定位方法，其特征在于，步骤3所述跑道坐标系是以机场跑道起点为原点，遥控车前进方向为Y轴正方向，竖直向上为Z轴正方向。

3.根据权利要求1所述动静结合的机场跑道异物视觉检测与定位方法，其特征在于，步骤4所述控制信号包括云台转动角度和焦距放大倍数。

4.根据权利要求1所述动静结合的机场跑道异物视觉检测与定位方法，其特征在于，步骤2所述异物动态检测算法具体为：利用ITTI显著性模型生成道面图像的对比度图，利用形态学梯度方法提取道面图像的边缘信息，将对比度图与边缘信息进行加权融合得到异物度图。