CN107341455B - 一种区域多特征的检测方法及检测装置 - Google Patents

一种区域多特征的检测方法及检测装置 Download PDF

Info

Publication number
CN107341455B
CN107341455B CN201710473762.7A CN201710473762A CN107341455B CN 107341455 B CN107341455 B CN 107341455B CN 201710473762 A CN201710473762 A CN 201710473762A CN 107341455 B CN107341455 B CN 107341455B
Authority
CN
China
Prior art keywords
fod
video image
laser line
interval
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710473762.7A
Other languages
English (en)
Other versions
CN107341455A (zh
Inventor
郑红
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710473762.7A priority Critical patent/CN107341455B/zh
Publication of CN107341455A publication Critical patent/CN107341455A/zh
Application granted granted Critical
Publication of CN107341455B publication Critical patent/CN107341455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种对夜间机场跑道路面上外来物的区域多特征的检测，所述区域多特征的检测是对CCD相机实时采集到的包含有红色激光线位于视频图像中下部的视频图像所在区域进行检测判断；当激光器出射的红色激光线扫在FOD上时，位于FOD处的激光线会产生一定量的形变，通过提取此处激光线的形变特征情况，来识别出视频图像所在区域上是否存在FOD，进而判断出夜间机场跑道路面上是否存在有FOD。检测的最大精度为2cm×2cm，不受FOD的材质影响，不受夜间机场跑道路上光线变化影响。

Description

一种区域多特征的检测方法及检测装置
技术领域
本发明涉及目标检测，更特别地说，是指一种对夜间机场跑道路面上外来物的区域多特征的检测方法及检测装置，实现对夜间机场跑道上外来物的清理。
背景技术
机场跑道上的外来物(Foreign Object Debris，FOD)在飞机起飞和降落的过程中会带来巨大的安全隐患，危及乘客的生命和财产安全。据保守估计，每年全球因FOD 造成的损失至少30～40亿美元。目前，毫米波雷达、可见光摄像机、红外灯和热成像仪是机场跑道异物检测系统中的主流传感器。不同的传感器有各自的特点，适用与不同场合。毫米波雷达具有导引头体积小、质量轻、空间分辨率高、抗电磁干扰强等特点。与红外、激光、电视等光学导引头相比、毫米波导引头穿透雾、烟、灰尘的能力更强，具有全天候全天时的特点，但无法识别目标及细节特征。
对FOD检测常用的手段主要有背景差分法、帧差法和光流法。近些年，基于机器学习的检测算法的运用也日益增长。使用背景差分法对FOD检测，需要不断的更新背景。由于夜间的机场跑道上，光线对于可见光相机来说是不充足、不均匀的，而且随着位置的改变，光强也在不断的变化，所以在实际运用中，适应差，实时性一般，检测效果不佳。使用帧差法对FOD检测，同样会受光强的影响，而且跑道上会有“突鼓”和“裂缝”会造成相机和激光器的上下抖动，改变激光线在采集图像中的位置，对帧差的结果影响较大。光流法受光强影响较大，在无目标运动的情况下，环境中光照的变化也会产生光流，导致误检测为出现了运动目标，而且算法计算量大，实时性差。基于机器学习的检测算法主要有adaboost和SVM，但这两张算法对硬件要求过高，为了保证准确度，需要大量的学习样本，所以有较高的计算复杂度，实时性差。
因为是对激光线形变的检测，所以也可以采用直线检测算法。常用的直线算法包括 Hough变换算法、Freeman链码算法和最小二乘线性拟合算法。其中Hough变换算法鲁棒性强，但它是穷尽式搜索，具有很大的计算量，占用大量的存储空间，计算时间长，对激光线检测时，由于激光线有一定宽度，会检测出多条平行直线，不易判别出 FOD，而强鲁棒性也易出现虚假检测结果；Freeman链码算法具有较低的计算量，并且能获取直线段的位置、长度和方向等信息，但该算法容易受到目标边界跟踪算法的制约，由于激光线中间粗两头细，上下边缘是有弧度的。在检测中，边缘直线是断开的，而且Freeman准则源于理想数字直线，所以边界的抗噪性弱；最小二乘线性拟合算法利用随机误差对线性检测精度的影响，其检测结果精度较高，但边缘破损或毛刺等因素对算法精度影响显著，会增大结果的偏差。
发明内容
为了使飞机在起飞和降落时不受机场跑道路面上FOD的不影响，本发明的目的之一是设计了一种对夜间机场跑道路面上外来物的区域多特征的检测装置。该检测装置借助移动车载携带FOD检测装置、激光器和CCD相机，实现对夜间机场跑道路面上外来物的快速检测，可以有效的解决夜间机场跑道上光线不足、光线变化、光强不均所带来的噪声干扰和机场跑道路面出现的“突鼓”、“裂缝”所引起CCD相机和红色激光线的震动干扰。该检测装置能够实现的最大检测精度为2cm×2cm，不受FOD的材质影响，不受夜间机场跑道路上光线变化影响。
本发明的另一目的是提出一种对夜间机场跑道路面上外来物的区域多特征的检测方法，该方法对CCD相机实时采集到的包含有红色激光线位于视频图像中下部的视频图像所在区域进行检测判断；当激光器出射的红色激光线扫在FOD上时，位于FOD 处的激光线会产生变宽、变窄、断口等一系列不规则形变，通过提取此处激光线的形变特征情况，来识别出视频图像所在区域上是否存在FOD，进而判断出夜间机场跑道路面上是否存在有FOD。所述的区域多特征FOD检测单元可以依据多个特征来依次进行检测，以此来适应在夜间不同的外界条件下，能够检测出不同材质和形状的FOD。本发明方法是基于区域多特征、并结合置信区间及学习阈值对激光线上FOD进行实时检测，能够改善在实测中大大的减少光线不足、光线变化和光强不均所带来的干扰，同时消除了因场道上“突鼓”和“裂缝”而造成CCD相机和/或激光器的上下抖动对实测 FOD结果带来的影响。
应用本发明设计的一种对夜间机场跑道路面上外来物的区域多特征的检测装置进行的区域多特征FOD检测，其特征在于包括有下列步骤：
步骤一，对CCD相机实时采集到的夜间机场跑道的视频图像进行预处理，获得包含FOD的预分割视频图像；
步骤11，对CCD相机实时采集到的夜间机场跑道的视频图像进行三通道分解处理，获得R通道的视频图像信息；
步骤12，对R通道的视频图像信息进行中值滤波处理，获得滤波后视频图像信息；
步骤13，对滤波后视频图像信息进行形态学处理，获得形态—滤波后视频图像信息；
步骤14，对形态—滤波后视频图像信息进行大津阈值分割处理，获得包含FOD的预分割视频图像信息；
步骤二，对预分割视频图像信息进行视频区域分割；
先以包含FOD的预分割视频图像的左顶角为坐标原点构建平面坐标系XOY，OX 轴为横轴方向，OY轴为纵轴方向；然后沿横轴方向OX按照区间宽度S将所述的预分割视频图像划分为A个区间的图像；
步骤三，纵轴方向激光线特征提取：
为获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的纵向特征，以任意一区间
Figure GDA0002580722090000031
内的激光线上的像素点个数的总和
Figure GDA0002580722090000032
来求取，所述 FOD_VideoLA所在区间竖直方向上的算术平均值
Figure GDA0002580722090000033
令
Figure GDA0002580722090000034
为区间
Figure GDA0002580722090000035
中激光线上各列像素点个数和的序列集，从区间
Figure GDA0002580722090000036
的左端开始到区间
Figure GDA0002580722090000037
的右端结束，步长为1个像素；属于区间
Figure GDA0002580722090000038
的方差
Figure GDA0002580722090000039
Figure GDA00025807220900000310
中的角标k表示属于ai区间中的第几列，即列数标识号；
步骤四，横轴方向激光线特征提取：
为了获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的横向特征，以纵向的各个像素点个数的总和来表征，即激光线的横向特征
Figure GDA00025807220900000311
计算所述激光线—FOD视频图像区域FOD_VideoLA中激光线长度的算术平均值
Figure GDA0002580722090000041
(用像素点的个数来代替，简称横轴方向的算术平均值)，则有
Figure GDA0002580722090000042
步骤五，区域内纵向特征比较，判断FOD的存在；
为了获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的纵向变化特征，选取出区间
Figure GDA0002580722090000043
内的列像素的最大值Fmax及最小值Fmin；若Fmax≥T1或 Fmin≤T2，则证明区间
Figure GDA0002580722090000044
中有FOD存在，同时在实时采集的视频图像界面中显示出FOD的位置；
若Fmax＜T1和Fmin＞T2两者都不满足，则执行步骤六；
T1表示激光线上包含FOD时激光线高度增加的最小阈值；
T2表示激光线上包含FOD时激光线变窄或断开的最大阈值；
步骤六，双总体t分布检验均值检验FOD；
采用双总体t分布检验均值方法对
Figure GDA0002580722090000045
进行比较是否相等，检验水准为0.05，若
Figure GDA0002580722090000046
区间
Figure GDA0002580722090000047
中有FOD，同时在实时采集的含有红色激光线视频图像界面中显示出FOD的位置及大小；
Figure GDA0002580722090000048
Figure GDA0002580722090000049
若
Figure GDA00025807220900000410
执行步骤七；
DS表示属于区间
Figure GDA00025807220900000411
的总体方差的最小方差无偏估计值；
步骤七，区域横向特征比较，判断FOD的存在；
在区间
Figure GDA00025807220900000412
中求出竖直高度H，
Figure GDA00025807220900000413
hj为竖直方向上单步长各行激光线上像素点总数集，hj中角标j为行数标识号，n为激光线高度所在的最大行数，从区间
Figure GDA00025807220900000414
上端依次累加，直到出现
Figure GDA00025807220900000415
时结束；T3表示激光线上像素点存在FOD的横向累加和与激光线上像素点没有FOD的横向累加和的最大间隔，简称为间隔阈值，若H≥T3，证明区域FOD_VideoLA中有FOD；同时在实时采集的含有红色激光线视频图像界面中显示出FOD的位置；
若H＜T3，证明区域FOD_VideoLA中没有FOD；继续向前进行夜间机场跑道路面检测。
本发明区域多特征FOD检测方法的优点在于：
①采用带有红色激光线的视频图像信息进行FOD的检测，在激光线存在有变宽、变窄、断口等一系列不规则形变下，检测出不同材质、不同形变的FOD。本发明方法在夜间准备率和抗干扰能力都较高于雷达、可见光摄像头、红外热像仪。
②采用多区域分割对带有红色激光线的视频图像进行处理，提高了运算速度，降低复杂度低，便于实时检测，增强了区域内激光形变影响，同时也降低光线变化的干扰。
③计算区域内激光线像素点横向的统计特征采用假设检验的方法(t分布)，来对FOD 进行判断检测，提高了准确率。
④计算区域内激光线像素点纵向的统计特征采用支持向量机最大间隔的方法，求出阈值，提高了准确率。
附图说明
图1是本发明设计的一种对夜间机场跑道路面上外来物的区域多特征的检测装置的结构框图。
图2是本发明中视频图像预处理单元的结构框图。
图3是本发明的区域分割示意图。
图4是本发明的区域特征提取示意图。
图5A是白色塑料圆柱的照片。
图5B是采用本发明区域多特征FOD检测方法得到的白色塑料圆柱的视频图像照片。
图6A是钢钉圆柱的照片。
图6B是采用本发明区域多特征FOD检测方法得到的钢钉圆柱的视频图像照片。
图7A是螺丝钉圆柱的照片。
图7B是采用本发明区域多特征FOD检测方法得到的螺丝钉圆柱的视频图像照片。
图8A是黑色轮胎皮的照片。
图8B是采用本发明区域多特征FOD检测方法得到的黑色轮胎皮的视频图像照片。
图9A是琥珀色橡胶圆柱的照片。
图9B是采用本发明区域多特征FOD检测方法得到的琥珀色橡胶圆柱的视频图像照片。
图10A是玻璃球的照片。
图10B是采用本发明区域多特征FOD检测方法得到的玻璃球的视频图像照片。
图11A是板材薄片的照片。
图11B是采用本发明区域多特征FOD检测方法得到的板材薄片的视频图像照片。
图12A是白色瓷球的照片。
图12B是采用本发明区域多特征FOD检测方法得到的白色瓷球的视频图像照片。
具体实施方式
下面将结合附图和实施例对本发明做进一步的详细说明。
构建区域多特征的检测装置：
参见图1、图2所示，本发明设计了一种对夜间机场跑道路面上外来物的区域多特征的检测装置，该区域多特征的检测装置包括有：
配置有GPS定位的移动车载，用于输出移动车载的地理位置；同时配置有GPS定位的移动车载的顶部安装上激光器和CCD相机；
激光器，用于出射红色激光线；激光器出射波长为635纳米的红色激光线。
CCD相机，用于采集包含有所述红色激光线的视频图像信息；所述CCD相机的像素要求不低于500万像素；所述CCD相机的有效采集距离为直线距离5米。
FOD检测装置，由计算机、视频图像预处理单元和区域多特征FOD检测单元组成，所述的视频图像预处理单元和所述的区域多特征FOD检测单元存储在所述计算机内。激光器和CCD相机通过电缆与计算机的串口连接。
在本发明中，CCD相机采集到的视频图像信息中红色激光线应当位于所采集到的视频图像的中下部。
在本发明中，为了使飞机在起飞和降落时不受机场跑道路面上FOD的不影响，通过车载(可以是汽车，该计算机放置于汽车中，而汽车的外部固定安装有CCD相机和激光器，以及用于获取地理位置信息的GPS定位装置。)的移动来检测FOD。而计算机是一种能够按照事先存储的程序，自动、高速地进行大量数值计算和各种信息处理的现代化智能电子设备。最低配置为CPU 2GHz，内存2～4GB，硬盘30～50GB；操作系统为windows XP及以上版本，安装有Visual Studio 2010及OpenCV 3.0 编程软件。
如图2所示的视频图像预处理单元的处理流程，首先对CCD相机实时采集到的夜间机场跑道的视频图像进行三通道分解处理，获得R通道的视频图像信息；然后对R 通道的视频图像信息进行中值滤波处理，获得滤波后视频图像信息；进而对滤波后视频图像信息进行形态学处理，获得形态—滤波后视频图像信息；最后对形态—滤波后视频图像信息进行大津阈值分割处理，获得预分割视频图像信息。
为了使飞机在起飞和降落时不受机场跑道路面中FOD的不影响，应用本发明的区域多特征FOD检测单元的目的是：对CCD相机实时采集到的包含有红色激光线位于视频图像中下部的视频图像所在区域进行检测判断。当激光器出射的红色激光线扫在 FOD上时，位于FOD处的激光线会产生一定量(变宽、变窄、断口等)的形变，通过提取此处激光线的形变特征情况，来识别出视频图像所在区域上是否存在FOD，进而判断出夜间机场跑道路面上是否存在有FOD。所述的区域多特征FOD检测单元可以依据多个特征来依次进行检测，以此来适应在夜间不同的外界条件下，能够检测出不同材质和形状的FOD。
本发明装置主要是用于夜间机场跑道上FOD的检测，可以有效的解决夜间机场跑道上光线不足、光线变化、光强不均所带来的噪声干扰和机场跑道路面出现的“突鼓”、“裂缝”所引起CCD相机和红色激光线的震动干扰。
构建夜间机场跑道参考值：
在本发明中，连接好各个硬件设置，即将激光器和CCD相机通过电缆与计算机的串口连接，配置有GPS定位的移动车载的顶部安装上激光器和CCD相机，打开计算机，启动视频图像预处理单元和区域多特征FOD检测单元进行无FOD情况下的夜间机场跑道路面的信息采集，经处理后的信息将构成夜间机场跑道参考值。所述夜间机场跑道参考值的获取有下列步骤：
参考值步骤一，对CCD相机实时采集到的夜间机场跑道的视频图像进行预处理，获得预分割视频图像；
参考值步骤11，对CCD相机实时采集到的夜间机场跑道的视频图像进行三通道分解处理，获得R通道的视频图像信息；
参考值步骤12，对R通道的视频图像信息进行中值滤波处理，获得滤波后视频图像信息；
参考值步骤13，对滤波后视频图像信息进行形态学处理，获得形态—滤波后视频图像信息；
参考值步骤14，对形态—滤波后视频图像信息进行大津阈值分割处理，获得预分割视频图像信息。
对于预分割视频图像的得到如图2所示，采用图2的技术手段是为了去除实时采集到的含有红色激光线视频图像中的部分噪声，增强和突出所述含有红色激光线视频图像中的有用信息，即R通道像素值。
在本发明中，应用CCD相机实时采集含有红色激光线的视频图像信息是三通道像素的，即R通道、G通道和B通道。为了去噪、增强图像信息，本发明仅对R通道的视频图像信息进行再处理。
参考值步骤二，对预分割视频图像信息进行横轴视频区域分割；
在本发明中，先以预分割视频图像的左顶角为坐标原点构建平面坐标系XOY，OX轴为横轴方向，OY轴为纵轴方向；然后沿横轴方向OX按照区间宽度S将所述的预分割视频图像划分为A个区间的图像。
在本发明中，如图3所示的任意一帧预分割视频图像信息记为Video，在所述Video中包含激光线区域的视频图像记为VideoLA(简称激光线—视频图像区域)，所述 VideoLA在纵轴方向上的最大高度记为H(简称为竖直高度H)，除所述VideoLA以外的视频图像区域记为VideoLB(简称背景视频图像区域)。对于有用背景视频图像区域划分采用了大于等于竖直高度H为5～10倍的高度进行视频图像拾取，则有上部分背景视频图像区域记为
Figure GDA0002580722090000081
和下部分背景视频图像区域记为
Figure GDA0002580722090000082
激光线在所述 VideoLA中为中间宽两头尖形状。所述的预分割视频图像的竖直高度是激光线竖直高度的10倍。
在本发明中，如图3所示的任意一帧预分割视频图像信息记为Video，沿横轴方向将所述Video按照区间宽度S划分为A个区间，则有a1,a2,…,ai,…,aA，a1表示属于所述Video中的沿横轴方向划分的第一个区间，a2表示属于所述Video中的沿横轴方向划分的第二个区间，ai表示属于所述Video中的沿横轴方向划分的任意一个区间，aA表示属于所述Video中的沿横轴方向划分的最后一个区间，i表示区间标识号，A表示区间的总数。所述各个区间a1,a2,…,ai,…,aA的区间宽度S可以是相同的。
属于所述激光线—视频图像区域VideoLA沿横轴方向的第一个区间记为
Figure GDA0002580722090000083
第二个区间记为
Figure GDA0002580722090000091
任意一个区间记为
Figure GDA0002580722090000092
最后一个区间记为
Figure GDA0002580722090000093
所述
Figure GDA0002580722090000094
内激光线上像素点个数的总和记为
Figure GDA0002580722090000095
所述
Figure GDA0002580722090000096
内激光线上像素点个数的总和记为
Figure GDA0002580722090000097
所述
Figure GDA0002580722090000098
内激光线上像素点个数的总和记为
Figure GDA0002580722090000099
所述
Figure GDA00025807220900000910
内激光线上像素点个数的总和记为
Figure GDA00025807220900000911
属于所述上部分背景视频图像区域
Figure GDA00025807220900000912
沿横轴方向的第一个区间记为
Figure GDA00025807220900000913
第二个区间记为
Figure GDA00025807220900000914
任意一个区间记为
Figure GDA00025807220900000915
最后一个区间记为
Figure GDA00025807220900000916
属于所述下部分背景视频图像区域
Figure GDA00025807220900000917
沿横轴方向的第一个区间记为
Figure GDA00025807220900000918
第二个区间记为
Figure GDA00025807220900000919
任意一个区间记为
Figure GDA00025807220900000920
最后一个区间记为
Figure GDA00025807220900000921
参考值步骤三，纵轴方向激光线特征提取：
为获取所述激光线—视频图像区域VideoLA中激光线的纵向特征，以任意一区间
Figure GDA00025807220900000922
内的激光线上的像素点个数的总和
Figure GDA00025807220900000923
来求取，所述VideoLA所在区间竖直方向上的算术平均值
Figure GDA00025807220900000924
同理，
Figure GDA00025807220900000925
区间竖直方向上的算术平均值记为
Figure GDA00025807220900000926
同理，
Figure GDA00025807220900000927
区间竖直方向上的算术平均值记为
Figure GDA00025807220900000928
同理，
Figure GDA00025807220900000929
区间竖直方向上的算术平均值记为
Figure GDA00025807220900000930
令
Figure GDA00025807220900000931
为区间
Figure GDA00025807220900000932
中激光线上各列像素点个数和的序列集，从区间
Figure GDA00025807220900000933
的左端开始到区间
Figure GDA00025807220900000934
的右端结束，步长为1个像素；属于区间
Figure GDA00025807220900000935
的方差
Figure GDA00025807220900000936
Figure GDA00025807220900000937
Figure GDA00025807220900000938
中的角标k表示属于ai区间中的第几列，即列数标识号；
同理，
Figure GDA00025807220900000939
区间方差记为
Figure GDA00025807220900000940
同理，
Figure GDA00025807220900000941
区间方差记为
Figure GDA00025807220900000942
同理，
Figure GDA00025807220900000943
区间方差记为
Figure GDA00025807220900000944
参考值步骤四，横轴方向激光线特征提取：
为了获取所述激光线—视频图像区域VideoLA中激光线的横向特征，以纵向的各个像素点个数的总和来表征，即激光线的横向特征
Figure GDA0002580722090000101
计算所述激光线—视频图像区域VideoLA中激光线长度的算术平均值
Figure GDA0002580722090000102
(用像素点的个数来代替，简称横轴方向的算术平均值)，则有
Figure GDA0002580722090000103
在本发明中，利用无FOD的机场跑道路面得到的夜间机场跑道参考值作为净面视频图像，是为了对比出存在FOD检测时，当激光器出射的红色激光线扫在FOD上时，位于FOD处的激光线会产生一定量(变宽、变窄、断口等)的形变，通过提取此处激光线的形变特征情况，来识别出视频图像所在区域上是否存在FOD，进而判断出夜间机场跑道路面上是否存在有FOD。夜间机场跑道参考值对于本发明设计的区域多特征的检测装置仅进行一次获取后，保存于计算机中。
在安装调试好的本发明区域多特征检测装置进行夜间机场跑道路面上FOD的区域多特征的检测，其步骤有：
步骤一，对CCD相机实时采集到的夜间机场跑道的视频图像进行预处理，获得包含FOD预分割视频图像；
步骤11，对CCD相机实时采集到的夜间机场跑道的视频图像进行三通道分解处理，获得R通道的视频图像信息；
步骤12，对R通道的视频图像信息进行中值滤波处理，获得滤波后视频图像信息；
步骤13，对滤波后视频图像信息进行形态学处理，获得形态—滤波后视频图像信息；
步骤14，对形态—滤波后视频图像信息进行大津阈值分割处理，获得包含FOD的预分割视频图像信息。
参见图1、图2所示，步骤一与参考值步骤一的处理过程是相同的，这是因为CCD 相机采集到的都是含有红色激光线的视频图像。
步骤二，对预分割视频图像信息进行视频区域分割；
在本发明中，先以包含FOD的预分割视频图像的左顶角为坐标原点构建平面坐标系XOY，OX轴为横轴方向，OY轴为纵轴方向；然后沿横轴方向OX按照区间宽度S 将所述的预分割视频图像划分为A个区间的图像。
在本发明中，如图4所示的任意一帧包含FOD视频图像信息记为FOD_Video，在所述FOD_Video中包含激光线区域的视频图像记为FOD_VideoLA(简称激光线—FOD视频图像区域)，所述FOD_VideoLA在纵轴方向上的最大高度记为H(简称为竖直高度H)，除所述FOD_VideoLA以外的视频图像区域记为FOD_VideoLB(简称包含FOD背景视频图像区域)。对于有用背景视频图像区域划分采用了大于等于竖直高度H为5～10倍的高度进行视频图像拾取，则有上部分包含FOD背景视频图像区域记为
Figure GDA00025807220900001123
和下部分包含FOD背景视频图像区域记为
Figure GDA00025807220900001124
激光线在所述FOD_VideoLA中为上下凸峰形状。
在本发明中，如图4所示的任意一帧包含FOD视频图像信息记为FOD_Video，沿横轴方向将所述FOD_Video按照区间宽度S划分为A个区间，则有 a1,a2,…,ai,…,aA，a1表示属于所述FOD_Video中的沿横轴方向划分的第一个区间，a2表示属于所述FOD_Video中的沿横轴方向划分的第二个区间，ai表示属于所述FOD_Video中的沿横轴方向划分的任意一个区间，aA表示属于所述FOD_Video 中的沿横轴方向划分的最后一个区间，i表示区间标识号，A表示区间的总数。所述各个区间a1,a2,…,ai,…,aA的区间宽度S可以是相同的。
属于所述激光线—FOD视频图像区域FOD_VideoLA沿横轴方向的第一个区间记为
Figure GDA0002580722090000111
第二个区间记为
Figure GDA0002580722090000112
任意一个区间记为
Figure GDA0002580722090000113
最后一个区间记为
Figure GDA0002580722090000114
所述
Figure GDA0002580722090000115
内激光线上像素点个数的总和记为
Figure GDA0002580722090000116
所述
Figure GDA0002580722090000117
内激光线上像素点个数的总和记为
Figure GDA0002580722090000118
所述
Figure GDA0002580722090000119
内激光线上像素点个数的总和记为
Figure GDA00025807220900001110
所述
Figure GDA00025807220900001111
内激光线上像素点个数的总和记为
Figure GDA00025807220900001112
属于所述上部分包含FOD背景视频图像区域
Figure GDA00025807220900001113
沿横轴方向的第一个区间记为
Figure GDA00025807220900001114
第二个区间记为
Figure GDA00025807220900001115
任意一个区间记为
Figure GDA00025807220900001116
最后一个区间记为
Figure GDA00025807220900001117
属于所述下部分包含FOD背景视频图像区域
Figure GDA00025807220900001118
沿横轴方向的第一个区间记为
Figure GDA00025807220900001119
第二个区间记为
Figure GDA00025807220900001120
任意一个区间记为
Figure GDA00025807220900001121
最后一个区间记为
Figure GDA00025807220900001122
步骤三，纵轴方向激光线特征提取：
为获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的纵向特征，以任意一区间
Figure GDA0002580722090000121
内的激光线上的像素点个数的总和
Figure GDA0002580722090000122
来求取，所述 FOD_VideoLA所在区间竖直方向上的算术平均值
Figure GDA0002580722090000123
同理，
Figure GDA0002580722090000124
区间竖直方向上的算术平均值记为
Figure GDA0002580722090000125
同理，
Figure GDA0002580722090000126
区间竖直方向上的算术平均值记为
Figure GDA0002580722090000127
同理，
Figure GDA0002580722090000128
区间竖直方向上的算术平均值记为
Figure GDA0002580722090000129
令
Figure GDA00025807220900001210
为区间
Figure GDA00025807220900001211
中激光线上各列像素点个数和的序列集，从区间
Figure GDA00025807220900001212
的左端开始到区间
Figure GDA00025807220900001213
的右端结束，步长为1个像素；属于区间
Figure GDA00025807220900001214
的方差
Figure GDA00025807220900001215
Figure GDA00025807220900001216
Figure GDA00025807220900001217
中的角标k表示属于ai区间中的第几列，即列数标识号；
同理，
Figure GDA00025807220900001218
区间方差记为
Figure GDA00025807220900001219
同理，
Figure GDA00025807220900001220
区间方差记为
Figure GDA00025807220900001221
同理，
Figure GDA00025807220900001222
区间方差记为
Figure GDA00025807220900001223
步骤四，横轴方向激光线特征提取：
为了获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的横向特征，以纵向的各个像素点个数的总和来表征，即激光线的横向特征
Figure GDA00025807220900001224
计算所述激光线—FOD视频图像区域FOD_VideoLA中激光线长度的算术平均值
Figure GDA00025807220900001225
(用像素点的个数来代替，简称横轴方向的算术平均值)，则有
Figure GDA00025807220900001226
步骤五，区域内纵向特征比较，判断FOD的存在；
为了获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的纵向变化特征，选取出区间
Figure GDA00025807220900001227
内的列像素的最大值Fmax及最小值Fmin；若Fmax≥T1或 Fmin≤T2，则证明区间
Figure GDA00025807220900001228
中有FOD存在，同时在实时采集的视频图像界面中显示出FOD的位置。
若Fmax＜T1和Fmin＞T2两者都不满足，则执行步骤六。
T1表示激光线上包含FOD时激光线高度增加的最小阈值；
T2表示激光线上包含FOD时激光线变窄或断开的最大阈值；
步骤六，双总体t分布检验均值检验FOD；
采用双总体t分布检验均值方法对
Figure GDA0002580722090000131
进行比较是否相等，检验水准为0.05，若
Figure GDA0002580722090000132
区间
Figure GDA0002580722090000133
中有FOD，同时在实时采集的含有红色激光线视频图像界面中显示出FOD的位置及大小。
Figure GDA0002580722090000134
Figure GDA0002580722090000135
若
Figure GDA0002580722090000136
执行步骤七。
DS表示属于区间
Figure GDA0002580722090000137
的总体方差的最小方差无偏估计值；
步骤七，区域横向特征比较，判断FOD的存在；
在区间
Figure GDA0002580722090000138
中求出竖直高度H，
Figure GDA0002580722090000139
hj为竖直方向上单步长各行激光线上像素点总数集，hj中角标j为行数标识号，n为激光线高度所在的最大行数，从区间
Figure GDA00025807220900001310
上端依次累加，直到出现
Figure GDA00025807220900001311
时结束。T3表示激光线上像素点存在FOD的横向累加和与激光线上像素点没有FOD的横向累加和的最大间隔，简称为间隔阈值，若H≥T3，证明区域FOD_VideoLA中有FOD；同时在实时采集的含有红色激光线视频图像界面中显示出FOD的位置。
若H＜T3，证明区域FOD_VideoLA中没有FOD；继续向前进行夜间机场跑道路面检测。
如图1所示的结构，在实测现场中，对不同形状材质的FOD进行检测，效果是非常好的。每张图都有三部分合成，最上面的是原始图像，中间的是经过预处理的图像，最下面为检测结果图。在实测中，激光线的形状是中间粗，两头细，中部的检测精度高。因为算法是分区域多特征的，所以在激光线的两端没有出现虚警。
本发明具体实施效果：解决了现有机场跑道路面上FOD雷达检测技术能够检测识别的FOD最小尺寸偏大，受FOD材质影响严重，成本高昂，达不到实际使用需求等问题。同时也解决了视频图像识别技术检测速度慢，精度低，夜间等环境下探测识别功能下降的问题。本发明可以检测出2cm～3cm的不同材质的FOD，算法复杂度低，具有很好的实时性与高精度性，而且具有较强的经济性。
设备参数设置：CCD相机用的是500万像素，镜头离FOD的直线距离为5米；激光器出射波长为635纳米的红色激光线。为了方便观测，突出对比度，预分割视频图像的竖直高度是激光线竖直高度的10倍。
白色塑料圆柱检测前后对比图
参见图5A与图5B所示，应用本发明区域多特征FOD检测方法当检测到有白色塑料圆柱(即FOD)存在时，图5B中出现了断开的激光线。通过对断开激光线处的视频图像进行处理，将检测到白色塑料圆柱(即FOD)存在于夜间机场跑道路面的具体位置，从而排除该物体。
钢钉圆柱检测前后对比图
参见图6A与图6B所示，应用本发明区域多特征FOD检测方法当检测到有钢钉圆柱(即FOD)存在时，图6B中出现了断开的激光线。通过对断开激光线处的视频图像进行处理，将检测到钢钉圆柱(即FOD)存在于夜间机场跑道路面的具体位置，从而排除该物体。
螺丝钉圆柱检测前后对比图
参见图7A与图7B所示，应用本发明区域多特征FOD检测方法当检测到有螺丝钉圆柱(即FOD)存在时，图7B中出现了断开的激光线。通过对断开激光线处的视频图像进行处理，将检测到螺丝钉圆柱(即FOD)存在于夜间机场跑道路面的具体位置，从而排除该物体。
黑色轮胎皮检测前后对比图
参见图8A与图8B所示，应用本发明区域多特征FOD检测方法当检测到有黑色轮胎皮(即FOD)存在时，图8B中出现了断开的激光线。通过对断开激光线处的视频图像进行处理，将检测到黑色轮胎皮(即FOD)存在于夜间机场跑道路面的具体位置，从而排除该物体。
琥珀色橡胶圆柱检测前后对比图
参见图9A与图9B所示，应用本发明区域多特征FOD检测方法当检测到有琥珀色橡胶圆柱(即FOD)存在时，图9B中出现了断开的激光线。通过对断开激光线处的视频图像进行处理，将检测到琥珀色橡胶圆柱(即FOD)存在于夜间机场跑道路面的具体位置，从而排除该物体。
玻璃球检测前后对比图
参见图10A与图10B所示，应用本发明区域多特征FOD检测方法当检测到有玻璃球(即FOD)存在时，图10B中出现了断开的激光线。通过对断开激光线处的视频图像进行处理，将检测到玻璃球(即FOD)存在于夜间机场跑道路面的具体位置，从而排除该物体。
板材薄片检测前后对比图
参见图11A与图11B所示，应用本发明区域多特征FOD检测方法当检测到有板材薄片(即FOD)存在时，图11B中出现了断开的激光线。通过对断开激光线处的视频图像进行处理，将检测到板材薄片(即FOD)存在于夜间机场跑道路面的具体位置，从而排除该物体。
白色瓷球检测前后对比图
参见图12A与图12B所示，应用本发明区域多特征FOD检测方法当检测到有白色瓷球(即FOD)存在时，图12B中出现了断开的激光线。通过对断开激光线处的视频图像进行处理，将检测到白色瓷球(即FOD)存在于夜间机场跑道路面的具体位置，从而排除该物体。
通过从8幅效果图(图5B、图6B、图7B、图8B、图9B、图10B、图11B、图12B)中可以看出，检测算法精度高，不受光强变化、FOD材质和形状的影响。

Claims (6)

1.一种对夜间机场跑道路面上外来物的区域多特征的检测装置，所述区域多特征检测装置包括有配置有GPS定位的移动车载、计算机；其特征在于：还包括有激光器、CCD相机和FOD检测装置；激光器和CCD相机安装在配置有GPS定位移动车载的顶部；
激光器，用于出射红色激光线；
CCD相机，用于采集包含有所述红色激光线的视频图像信息；
FOD检测装置，由计算机、视频图像预处理单元和区域多特征FOD检测单元组成，所述的视频图像预处理单元和所述的区域多特征FOD检测单元存储在所述计算机内；激光器和CCD相机通过电缆与计算机的串口连接；
视频图像预处理单元，首先对CCD相机实时采集到的夜间机场跑道的视频图像进行三通道分解处理，获得R通道的视频图像信息；然后对R通道的视频图像信息进行中值滤波处理，获得滤波后视频图像信息；进而对滤波后视频图像信息进行形态学处理，获得形态—滤波后视频图像信息；最后对形态—滤波后视频图像信息进行大津阈值分割处理，获得预分割视频图像信息；
区域多特征FOD检测单元，对CCD相机实时采集到的包含有红色激光线位于视频图像中下部的视频图像所在区域进行检测判断；当激光器出射的红色激光线扫在FOD上时，位于FOD处的激光线会产生变宽、变窄、断口的形变，通过提取此处激光线的形变特征情况，来识别出视频图像所在区域上是否存在FOD，进而判断出夜间机场跑道路面上是否存在有FOD。
2.根据权利要求1所述的一种对夜间机场跑道路面上外来物的区域多特征的检测装置，其特征在于：所述的预分割视频图像的竖直高度是激光线竖直高度的10倍。
3.根据权利要求1所述的一种对夜间机场跑道路面上外来物的区域多特征的检测装置，其特征在于：所述CCD相机的像素要求不低于500万像素；所述CCD相机的有效采集距离为直线距离5米。
4.根据权利要求1所述的一种对夜间机场跑道路面上外来物的区域多特征的检测装置，其特征在于：所述激光器出射波长为635纳米的红色激光线。
5.根据权利要求1所述的一种对夜间机场跑道路面上外来物的区域多特征的检测装置，其特征在于：检测装置能够实现的最大检测精度为2cm×2cm，且不受FOD的材质影响，不受夜间机场跑道路上光线变化影响。
6.应用如权利要求1所述的一种对夜间机场跑道路面上外来物的区域多特征的检测装置进行的区域多特征FOD检测，其特征在于包括有下列步骤：
步骤一，对CCD相机实时采集到的夜间机场跑道的视频图像进行预处理，获得包含FOD的预分割视频图像；
步骤11，对CCD相机实时采集到的夜间机场跑道的视频图像进行三通道分解处理，获得R通道的视频图像信息；
步骤12，对R通道的视频图像信息进行中值滤波处理，获得滤波后视频图像信息；
步骤13，对滤波后视频图像信息进行形态学处理，获得形态—滤波后视频图像信息；
步骤14，对形态—滤波后视频图像信息进行大津阈值分割处理，获得包含FOD的预分割视频图像信息；
步骤二，对预分割视频图像信息进行视频区域分割；
先以包含FOD的预分割视频图像的左顶角为坐标原点构建平面坐标系XOY，OX轴为横轴方向，OY轴为纵轴方向；然后沿横轴方向OX按照区间宽度S将所述的预分割视频图像划分为A个区间的图像；
步骤三，纵轴方向激光线特征提取：
为获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的纵向特征，以任意一区间
Figure FDA0002580722080000021
内的激光线上的像素点个数的总和
Figure FDA0002580722080000022
来求取，所述FOD_VideoLA所在区间竖直方向上的算术平均值
Figure FDA0002580722080000023
Figure FDA0002580722080000024
令
Figure FDA0002580722080000025
为区间
Figure FDA0002580722080000026
中激光线上各列像素点个数和的序列集，从区间
Figure FDA0002580722080000027
的左端开始到区间
Figure FDA0002580722080000028
的右端结束，步长为1个像素；属于区间
Figure FDA0002580722080000029
的方差
Figure FDA00025807220800000210
Figure FDA00025807220800000211
Figure FDA0002580722080000031
中的角标k表示属于ai区间中的第几列，即列数标识号；
步骤四，横轴方向激光线特征提取：
为了获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的横向特征，以纵向的各个像素点个数的总和来表征，即激光线的横向特征
Figure FDA0002580722080000032
计算所述激光线—FOD视频图像区域FOD_VideoLA中激光线长度的算术平均值
Figure FDA0002580722080000033
则有
Figure FDA0002580722080000034
步骤五，区域内纵向特征比较，判断FOD的存在；
为了获取所述激光线—FOD视频图像区域FOD_VideoLA中激光线的纵向变化特征，选取出区间
Figure FDA0002580722080000035
内的列像素的最大值Fmax及最小值Fmin；若Fmax≥T1或Fmin≤T2，则证明区间
Figure FDA0002580722080000036
中有FOD存在，同时在实时采集的视频图像界面中显示出FOD的位置；
若Fmax＜T1和Fmin＞T2两者都不满足，则执行步骤六；
T1表示激光线上包含FOD时激光线高度增加的最小阈值；
T2表示激光线上包含FOD时激光线变窄或断开的最大阈值；
步骤六，双总体t分布检验均值检验FOD；
采用双总体t分布检验均值方法对
Figure FDA0002580722080000037
进行比较是否相等，检验水准为0.05，若
Figure FDA0002580722080000038
区间
Figure FDA0002580722080000039
中有FOD，同时在实时采集的含有红色激光线视频图像界面中显示出FOD的位置及大小；
Figure FDA00025807220800000310
Figure FDA00025807220800000311
若
Figure FDA00025807220800000312
执行步骤七；
DS表示属于区间
Figure FDA00025807220800000313
的总体方差的最小方差无偏估计值；
步骤七，区域横向特征比较，判断FOD的存在；
在区间
Figure FDA00025807220800000314
中求出竖直高度H，
Figure FDA00025807220800000315
hj为竖直方向上单步长各行激光线上像素点总数集，hj中角标j为行数标识号，n为激光线高度所在的最大行数，从区间
Figure FDA0002580722080000041
上端依次累加，直到出现
Figure FDA0002580722080000042
时结束；T3表示激光线上像素点存在FOD的横向累加和与激光线上像素点没有FOD的横向累加和的最大间隔，简称为间隔阈值，若H≥T3，证明区域FOD_VideoLA中有FOD；同时在实时采集的含有红色激光线视频图像界面中显示出FOD的位置；
若H＜T3，证明区域FOD_VideoLA中没有FOD；继续向前进行夜间机场跑道路面检测。
CN201710473762.7A 2017-06-21 2017-06-21 一种区域多特征的检测方法及检测装置 Active CN107341455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710473762.7A CN107341455B (zh) 2017-06-21 2017-06-21 一种区域多特征的检测方法及检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710473762.7A CN107341455B (zh) 2017-06-21 2017-06-21 一种区域多特征的检测方法及检测装置

Publications (2)

Publication Number Publication Date
CN107341455A CN107341455A (zh) 2017-11-10
CN107341455B true CN107341455B (zh) 2020-11-03

Family

ID=60220825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710473762.7A Active CN107341455B (zh) 2017-06-21 2017-06-21 一种区域多特征的检测方法及检测装置

Country Status (1)

Country Link
CN (1) CN107341455B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263752B2 (en) * 2019-05-09 2022-03-01 Boe Technology Group Co., Ltd. Computer-implemented method of detecting foreign object on background object in an image, apparatus for detecting foreign object on background object in an image, and computer-program product
CN111950456A (zh) * 2020-08-12 2020-11-17 成都成设航空科技股份公司 一种基于无人机的智能化fod探测方法及系统
CN112836587B (zh) * 2021-01-08 2024-06-04 中国商用飞机有限责任公司北京民用飞机技术研究中心 跑道识别方法、装置、计算机设备及存储介质
CN116704446B (zh) * 2023-08-04 2023-10-24 武汉工程大学 机场跑道路面异物实时检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0817039A2 (pt) * 2007-08-24 2015-07-21 Stratech Systems Ltd Sistema e método de vigilância de pista de pouso e decolagem
US8362946B2 (en) * 2008-10-03 2013-01-29 Trex Enterprises Corp. Millimeter wave surface imaging radar system
KR101251350B1 (ko) * 2011-12-13 2013-04-05 아시아나아이디티 주식회사 열 감지를 이용한 ｆｏｄ 감시 시스템
CN103577697B (zh) * 2013-11-12 2017-02-15 中国民用航空总局第二研究所 基于道路表面点云数据的fod检测方法

Also Published As

Publication number Publication date
CN107341455A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
US10480939B2 (en) High speed stereoscopic pavement surface scanning system and method
CN107341455B (zh) 一种区域多特征的检测方法及检测装置
US9846946B2 (en) Objection recognition in a 3D scene
CN105718870B (zh) 自动驾驶中基于前向摄像头的道路标线提取方法
Rakibe et al. Background subtraction algorithm based human motion detection
US6449384B2 (en) Method and apparatus for rapidly determining whether a digitized image frame contains an object of interest
US8238610B2 (en) Homography-based passive vehicle speed measuring
EP1796043B1 (en) Object detection
Negru et al. Image based fog detection and visibility estimation for driving assistance systems
US8670612B2 (en) Environment recognition device and environment recognition method
CN102073846B (zh) 基于航拍图像的交通信息获取方法
KR101364727B1 (ko) 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치
Chen et al. Next generation map making: Geo-referenced ground-level LIDAR point clouds for automatic retro-reflective road feature extraction
CN109489724B (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
CN104821056A (zh) 基于雷达与视频融合的智能警戒方法
CN108197523B (zh) 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统
CN109471098B (zh) 利用fod雷达相位相干性信息的机场跑道异物检测方法
CN106096512B (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
CN114764871B (zh) 一种基于机载激光点云的城市建筑物属性提取方法
CN109084350A (zh) 一种具滤光功能视觉检测模块的油烟机及油烟浓度检测方法
Yin et al. Spherical coordinates based methods of ground extraction and objects segmentation using 3-D LiDAR sensor
CN110659552A (zh) 有轨电车障碍物检测及报警方法
Józsa et al. Towards 4D virtual city reconstruction from Lidar point cloud sequences
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
Liu et al. Vehicle detection from aerial color imagery and airborne LiDAR data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant