CN104536058B - 图像/雷达/激光测距机场跑道异物监控一体化系统 - Google Patents

Abstract

本发明提出了图像/雷达/激光测距机场跑道异物监控一体化系统，该系统根据雷达大范围扫描和connect相机能够给出图像像素距离的特点，给出了确定天气是否正常还是刮大风、下雨或下雪的判定条件，并按照天气分类分别给出了天气正常时机场跑道异物检测方法、刮大风时在机场跑道上空附近会出现质量轻的漂浮物导致异物检测错误的解决方法、下雪和下雨天气的图像仿射投影滤波方法、雾霾天气的红外强化法，实现了对机场跑道异物有效、可靠地自动化在线监测。

Description

图像/雷达/激光测距机场跑道异物监控一体化系统

技术领域

本发明涉及民航、军航及通用航空机场跑道异物的在线监测问题。特别涉及图像/雷达/激光测距机场跑道异物监控一体化系统，属于信息技术领域。

背景技术

机场道面上的外来物可以很容易被吸入到发动机，导致发动机失效。碎片也会堆积在机械装置中，影响起落架、襟翼等设备的正常运行，由于飞机极大的引擎吸力和极快的起降速度，即使微小的跑道异物也会造成严重隐患据保守估计，每年全球因机场跑道异物(FOD)造成的损失至少在30-40亿美元，而间接损失至少为直接损失的4 倍；2007年5月至2008年5月，中国民航共发生4500多起FOD损伤轮胎的事件。FOD不仅会造成巨大的直接损失，还会造成航班延误、中断起飞、关闭跑道等间接损失，间接损失至少为直接损失的4倍。

跑道异物检测日益成为大众关注的热点；自2000 年法协和飞机悲剧发生后，各国纷纷开始研发FOD 探测系统；在跑道异物检测系统研制方面，国外已出现了一些技术比较成熟、使用比较广泛的跑道安全系统，比较著名的有英国的Tarsier，以色列的FODDetect，美国的FODFinder，以及新加坡的iFerret 等。而在国内，虽然相关研究也已起步，但技术还不成熟，产品还不完善，制约着我国航空业的发展；国内的很多异物检测系统基于摄像机、视频图像等光学设备，受到天气状况的严重影响; 为数不多的雷达异物检测系统，通常采用雷达杂波图进行检测，并配合视觉设备配合查看异物，因而系统不够独立，而且造价高昂。跑道异物检测与识别的自动化一直是机场跑道管理追求的目标之一 。

由于FOD的种类相当多，如飞机和发动机连接件（螺帽、螺钉、垫圈、保险丝等）、机械工具、飞行物品（钉子、私人证件、钢笔、铅笔等）、野生动物、树叶、石头和沙子、道面材料、木块、塑料或聚乙烯材料、纸制品、运行区的冰碴等等，自动检测的可靠性难以保证，因此，目前大多数机场工作主要采用人工定时巡视的方式；这种方法不仅耗时费力，占用了宝贵的跑道使用时间，而且受天气等因素影响，导致安全隐患，所以对跑道异物有效而可靠的自动化在线监测是急需解决的问题。

发明内容

为了克服现有系统不能对机场跑道异物有效、可靠地自动化在线监测的技术缺陷，本发明提出了图像/雷达/激光测距机场跑道异物监控一体化系统，该系统根据雷达大范围扫描和互联相机能够给出图像像素距离的特点，给出了确定天气是否正常还是刮大风、下雨或下雪的判定条件，并按照天气分类分别给出了天气正常时机场跑道异物检测方法、刮大风时在机场跑道上空附近会出现质量轻的漂浮物导致异物检测错误的解决方法、下雪和下雨天气的图像仿射投影滤波方法、雾霾天气的红外强化法，实现了对机场跑道异物有效、可靠地自动化在线监测。

本发明解决其技术问题采用的技术方案是，一种图像/雷达/激光测距机场跑道异物监控一体化系统，其特征包括以下特点：

1）图像/雷达/激光测距机场跑道异物监控一体化系统由扫描雷达系统、多路可见光CCD和红外CCD、互联相机、可见光CCD和红外CCD固定焦距镜头、可见光CCD和红外CCD自动变焦镜头、单轴可控转台、激光测距仪、北斗或GPS或GNSS、图像采集处理系统、单轴可控转台控制系统和自动变焦镜头控制器组成；多路可见光CCD、红外CCD和激光测距仪都安装在单轴可控转台同时转动；激光测距仪安装于中央，多路可见光CCD、红外CCD倾斜安装于两侧且视场覆盖跑道两侧；互联相机水平安装；

2) 根据互联相机输出图像的像素点和像素点距离，对可检测距离范围内的当前帧图像和前一帧图像的两帧图像进行帧差法比较,

a) 按照以下计算式确定天气正常还是下雨、下雪、刮大风：

其中：表示图像的行数，表示图像的列数，表示图像的最大行数，表示图像的最大列数，为当前帧图像的第行第列像素，为前一帧图像的第行第列像素，为给定的阈值，abs表示绝对值；给定天气是否正常的判定参数，当时天气正常，当 时为下雨、下雪、刮大风天气；

b) 当 时，选取互联相机输出图像中与地面垂直的柱状区域，对当前帧图像和前一帧图像中的同一柱状区域进行图像分割法，不能得到分割区域则说明是刮风天气；否则会得到雨点或雪花形状、颜色、降落速度、降落方向，垂直降落且降落速度相对较大时则为下雨，非垂直降落或降落速度相对较小时则为下雪；

3）天气正常时机场跑道异物检测方法为：扫描雷达对机场跑道进行全部扫描，单轴可控转台控制系统控制单轴可控转台间断式步进旋转，间断式步进旋转时进行多图像采集；图像采集处理系统对多路CCD输入图像解码、将背景图像和多路采集到图像中指定的同一区域在FPGA进行比较，并对多路采集图像进行分割，通过图像融合方法获得有无异物信息；融合中红外CCD图像处理结果加权系数大于可见光CCD图像处理结果的加权系数；若有异物，单轴可控转台控制系统给出单轴可控转台的方位角控制指令，使得激光测距仪发射激光时对准异物图像中心邻域内；激光测距仪发射激光获得激光测距仪镜头与异物位置的斜距，与雷达扫描信息进行融合；

4）天气不正常时机场跑道异物检测方法分别为：

a) 刮大风时在机场跑道上空附近会出现质量轻的漂浮物导致检测错误，因此按照动目标检测方法剔除刮大风的干扰，具体步骤为：① 图像采集处理系统对CCD输入图像解码、将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息；用高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；对有运动像素点进行统计，大于设定阈值时认为有运动目标，否则认为无运动目标；② 用FPGA进行图像阈值分割，检测到有运动目标后再对包含目标的设定区域进行灰度统计并计算灰度平均值；③ 通过FPGA提取目标中心、计算运动偏移量和速度；④ 通过FPGA预测下一帧图像中的目标中心位置；⑤ 判断是否飘落在机场跑道内；

b) 对于下雪天气，机场跑道异物检测方法为：① 确定与机场跑道垂直上空按照CCD安装位置和视场角在CCD图像中的仿射投影关系， 互联相机与CCD同步获得图像，根据互联相机图像和确立的机场跑道垂直上空在CCD图像中的仿射投影关系，构造下雪状态的投影图像，CCD同步图像与该下雪状态的投影图像相减进行仿射投影滤波；② 由于雪色特殊、机场跑道异物图像边界按照图像分割方法确定凸显的机场跑道异物边界；③ 红外CCD在下雪天获得的图像中机场跑道异物边界与可见光获得的机场跑道异物边界共同判定异物大小；

c) 对于下雨天气，机场跑道异物检测方法为：① 确定与机场跑道垂直上空按照CCD安装位置和视场角在CCD图像中的仿射投影关系， 互联相机与CCD同步获得图像，根据互联相机图像和确立的机场跑道垂直上空在CCD图像中的仿射投影关系，构造下雨状态的投影图像，CCD同步图像与该下雨状态的投影图像相减进行仿射投影滤波；② 下雨使得水花会在机场跑道溅射时，属于动目标，参照4）a)的方法进行动目标检测，将CCD图像中随时间变化的机场跑道溅射水花前景图像剔除后，再使用图像分割方法获得机场跑道异物边界；③ 红外CCD在下雨天获得的图像中机场跑道异物图像边界与可见光获得的机场跑道异物边界共同判定异物大小；

d)以可见光CCD和红外CCD得到的机场跑道异物融合信息为参照，雷达重点对异物所在区域进行扫描探测，进一步机场对跑道异物进行探测和确认；

5）雾霾天气虽然能见度低，但由于图像/雷达/激光测距机场跑道异物监控一体化系统安装于机场跑道旁边，可见光CCD图像仍然清晰可见，雾霾天气检测方法为：单轴可控转台控制系统控制单轴可控转台间断式步进旋转，间断式步进旋转时进行多图像采集；图像采集处理系统对多路CCD输入图像解码、将背景图像和多路采集到图像中指定的同一区域在FPGA进行比较，并对多路采集图像进行分割，通过图像融合方法获得有无异物信息；融合中红外CCD图像处理结果的加权系数大于1.5倍可见光CCD图像处理结果的加权系数；若有异物，单轴可控转台控制系统给出单轴可控转台的方位角控制指令，使得激光测距仪发射激光时对准异物图像中心邻域内；激光测距仪发射激光获得激光测距仪镜头与异物位置的斜距；

6）检测结果上传、报警后人工清理。

本发明的有益结果是：根据互联相机能够给出图像像素距离的特点，给出了确定天气是否正常还是刮大风、下雨或下雪的判定条件，并按照天气分类分别给出了天气正常时机场跑道异物检测方法、刮大风时在机场跑道上空附近会出现质量轻的漂浮物导致异物检测错误的解决方法、下雪和下雨天气的图像仿射投影滤波方法、雾霾天气的红外强化法，实现了对机场跑道异物有效、可靠地自动化在线监测。

下面结合实例对本发明作详细说明。

具体实施方式

1）图像/雷达/激光测距机场跑道异物监控一体化系统由扫描雷达系统、多路可见光CCD和红外CCD、Fujifilm/富士 FinePix REAL 3D W3 互联相机、可见光CCD和红外CCD固定焦距镜头、可见光CCD和红外CCD自动变焦镜头、单轴可控转台、激光测距仪、北斗或GPS或GNSS、图像采集处理系统、单轴可控转台控制系统和自动变焦镜头控制器组成；多路可见光CCD、红外CCD和激光测距仪都安装在单轴可控转台同时转动；激光测距仪安装于中央，多路可见光CCD、红外CCD倾斜安装于两侧且视场覆盖跑道两侧；互联相机水平安装；

2) 根据互联相机输出图像的像素点和像素点距离，对可检测距离范围内的当前帧图像和前一帧图像的两帧图像进行帧差法比较,

a) 按照以下计算式确定天气正常还是下雨、下雪、刮大风：

其中：表示图像的行数，表示图像的列数，表示图像的最大行数，表示图像的最大列数，为当前帧图像的第行第列像素，为前一帧图像的第行第列像素，为给定的阈值，abs表示绝对值；给定天气是否正常的判定参数，当时天气正常，当 时为下雨、下雪、刮大风天气；

b) 当 时，选取互联相机输出图像中与地面垂直的柱状区域，对当前帧图像和前一帧图像中的同一柱状区域进行图像分割法，不能得到分割区域则说明是刮风天气；否则会得到雨点或雪花形状、颜色、降落速度、降落方向，垂直降落且降落速度相对较大时则为下雨，非垂直降落或降落速度相对较小时则为下雪；

3）天气正常时机场跑道异物检测方法为：扫描雷达对机场跑道进行全部扫描，单轴可控转台控制系统控制单轴可控转台间断式步进旋转，间断式步进旋转时进行多图像采集；图像采集处理系统对多路CCD输入图像解码、将背景图像和多路采集到图像中指定的同一区域在FPGA进行比较，并对多路采集图像进行分割，通过图像融合方法获得有无异物信息；融合中红外CCD图像处理结果加权系数大于可见光CCD图像处理结果的加权系数；若有异物，单轴可控转台控制系统给出单轴可控转台的方位角控制指令，使得激光测距仪发射激光时对准异物图像中心邻域内；激光测距仪发射激光获得激光测距仪镜头与异物位置的斜距，与雷达扫描信息进行融合；

4）天气不正常时机场跑道异物检测方法分别为：

a) 刮大风时在机场跑道上空附近会出现质量轻的漂浮物导致检测错误，因此按照动目标检测方法剔除刮大风的干扰，具体步骤为：① 图像采集处理系统对CCD输入图像解码、将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息；用高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；对有运动像素点进行统计，大于设定阈值时认为有运动目标，否则认为无运动目标；② 用FPGA进行图像阈值分割，检测到有运动目标后再对包含目标的设定区域进行灰度统计并计算灰度平均值；③ 通过FPGA提取目标中心、计算运动偏移量和速度；④ 通过FPGA预测下一帧图像中的目标中心位置；⑤ 判断是否飘落在机场跑道内；

b) 对于下雪天气，机场跑道异物检测方法为：① 确定与机场跑道垂直上空按照CCD安装位置和视场角在CCD图像中的仿射投影关系， 互联相机与CCD同步获得图像，根据互联相机图像和确立的机场跑道垂直上空在CCD图像中的仿射投影关系，构造下雪状态的投影图像，CCD同步图像与该下雪状态的投影图像相减进行仿射投影滤波；② 由于雪色特殊、机场跑道异物图像边界按照图像分割方法确定凸显的机场跑道异物边界；③ 红外CCD在下雪天获得的图像中机场跑道异物边界与可见光获得的机场跑道异物边界共同判定异物大小；

c) 对于下雨天气，机场跑道异物检测方法为：① 确定与机场跑道垂直上空按照CCD安装位置和视场角在CCD图像中的仿射投影关系， 互联相机与CCD同步获得图像，根据互联相机图像和确立的机场跑道垂直上空在CCD图像中的仿射投影关系，构造下雨状态的投影图像，CCD同步图像与该下雨状态的投影图像相减进行仿射投影滤波；② 下雨使得水花会在机场跑道溅射时，属于动目标，参照4）a)的方法进行动目标检测，将CCD图像中随时间变化的机场跑道溅射水花前景图像剔除后，再使用图像分割方法获得机场跑道异物边界；③ 红外CCD在下雨天获得的图像中机场跑道异物图像边界与可见光获得的机场跑道异物边界共同判定异物大小；

d)以可见光CCD和红外CCD得到的机场跑道异物融合信息为参照，雷达重点对异物所在区域进行扫描探测，进一步机场对跑道异物进行探测和确认；

5）雾霾天气虽然能见度低，但由于图像/雷达/激光测距机场跑道异物监控一体化系统安装于机场跑道旁边，可见光CCD图像仍然清晰可见，雾霾天气检测方法为：单轴可控转台控制系统控制单轴可控转台间断式步进旋转，间断式步进旋转时进行多图像采集；图像采集处理系统对多路CCD输入图像解码、将背景图像和多路采集到图像中指定的同一区域在FPGA进行比较，并对多路采集图像进行分割，通过图像融合方法获得有无异物信息；融合中红外CCD图像处理结果的加权系数大于1.5倍可见光CCD图像处理结果的加权系数；若有异物，单轴可控转台控制系统给出单轴可控转台的方位角控制指令，使得激光测距仪发射激光时对准异物图像中心邻域内；激光测距仪发射激光获得激光测距仪镜头与异物位置的斜距；

6）检测结果上传、报警后人工清理。

Claims (1)

1.一种图像/雷达/激光测距机场跑道异物监控一体化系统，其特征包括以下特点：

1）图像/雷达/激光测距机场跑道异物监控一体化系统由扫描雷达系统、多路可见光CCD和红外CCD、互联相机、可见光CCD和红外CCD固定焦距镜头、可见光CCD和红外CCD自动变焦镜头、单轴可控转台、激光测距仪、北斗或GPS或GNSS、图像采集处理系统、单轴可控转台控制系统和自动变焦镜头控制器组成；多路可见光CCD、红外CCD和激光测距仪都安装在单轴可控转台同时转动；激光测距仪安装于中央，多路可见光CCD、红外CCD倾斜安装于两侧且视场覆盖跑道两侧；互联相机水平安装；

2) 根据互联相机输出图像的像素点和像素点距离，对可检测距离范围内的当前帧图像和前一帧图像的两帧图像进行帧差法比较,

a) 按照以下计算式确定天气正常还是下雨、下雪、刮大风：

其中：表示图像的行数，表示图像的列数，表示图像的最大行数，表示图像的最大列数，为当前帧图像的第行第列像素，为前一帧图像的第行第列像素，为给定的阈值，abs表示绝对值；给定天气是否正常的判定参数，当时天气正常，当 时为下雨、下雪、刮大风天气；

b) 当 时，选取互联相机输出图像中与地面垂直的柱状区域，对当前帧图像和前一帧图像中的同一柱状区域进行图像分割法，不能得到分割区域则说明是刮风天气；否则会得到雨点或雪花形状、颜色、降落速度、降落方向，垂直降落且降落速度相对较大时则为下雨，非垂直降落或降落速度相对较小时则为下雪；

3）天气正常时机场跑道异物检测方法为：扫描雷达对机场跑道进行全部扫描，单轴可控转台控制系统控制单轴可控转台间断式步进旋转，间断式步进旋转时进行多图像采集；图像采集处理系统对多路CCD输入图像解码、将背景图像和多路采集到图像中指定的同一区域在FPGA进行比较，并对多路采集图像进行分割，通过图像融合方法获得有无异物信息；融合中红外CCD图像处理结果加权系数大于可见光CCD图像处理结果的加权系数；若有异物，单轴可控转台控制系统给出单轴可控转台的方位角控制指令，使得激光测距仪发射激光时对准异物图像中心邻域内；激光测距仪发射激光获得激光测距仪镜头与异物位置的斜距，与雷达扫描信息进行融合；

4）天气不正常时机场跑道异物检测方法分别为：

a) 刮大风时在机场跑道上空附近会出现质量轻的漂浮物导致检测错误，因此按照动目标检测方法剔除刮大风的干扰，具体步骤为：① 图像采集处理系统对CCD输入图像解码、将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息；用高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；对有运动像素点进行统计，大于设定阈值时认为有运动目标，否则认为无运动目标；②用FPGA进行图像阈值分割，检测到有运动目标后再对包含目标的设定区域进行灰度统计并计算灰度平均值；③ 通过FPGA提取目标中心、计算运动偏移量和速度；④ 通过FPGA预测下一帧图像中的目标中心位置；⑤ 判断是否飘落在机场跑道内；

b) 对于下雪天气，机场跑道异物检测方法为：① 确定与机场跑道垂直上空按照CCD安装位置和视场角在CCD图像中的仿射投影关系， 互联相机与CCD同步获得图像，根据互联相机图像和确立的机场跑道垂直上空在CCD图像中的仿射投影关系，构造下雪状态的投影图像，CCD同步图像与该下雪状态的投影图像相减进行仿射投影滤波；② 由于雪色特殊、机场跑道异物图像边界按照图像分割方法确定凸显的机场跑道异物边界；③ 红外CCD在下雪天获得的图像中机场跑道异物边界与可见光获得的机场跑道异物边界共同判定异物大小；

c) 对于下雨天气，机场跑道异物检测方法为：① 确定与机场跑道垂直上空按照CCD安装位置和视场角在CCD图像中的仿射投影关系， 互联相机与CCD同步获得图像，根据互联相机图像和确立的机场跑道垂直上空在CCD图像中的仿射投影关系，构造下雨状态的投影图像，CCD同步图像与该下雨状态的投影图像相减进行仿射投影滤波；② 下雨使得水花会在机场跑道溅射时，属于动目标，参照4）a)的方法进行动目标检测，将CCD图像中随时间变化的机场跑道溅射水花前景图像剔除后，再使用图像分割方法获得机场跑道异物边界；③ 红外CCD在下雨天获得的图像中机场跑道异物图像边界与可见光获得的机场跑道异物边界共同判定异物大小；

d)以可见光CCD和红外CCD得到的机场跑道异物融合信息为参照，雷达重点对异物所在区域进行扫描探测，进一步机场对跑道异物进行探测和确认；

5）雾霾天气虽然能见度低，但由于图像/雷达/激光测距机场跑道异物监控一体化系统安装于机场跑道旁边，可见光CCD图像仍然清晰可见，雾霾天气检测方法为：单轴可控转台控制系统控制单轴可控转台间断式步进旋转，间断式步进旋转时进行多图像采集；图像采集处理系统对多路CCD输入图像解码、将背景图像和多路采集到图像中指定的同一区域在FPGA进行比较，并对多路采集图像进行分割，通过图像融合方法获得有无异物信息；融合中红外CCD图像处理结果的加权系数大于1.5倍可见光CCD图像处理结果的加权系数；若有异物，单轴可控转台控制系统给出单轴可控转台的方位角控制指令，使得激光测距仪发射激光时对准异物图像中心邻域内；激光测距仪发射激光获得激光测距仪镜头与异物位置的斜距；

6）检测结果上传、报警后人工清理。