CN113627305B - 机场跑道上的小尺度fod的检测装置及检测方法 - Google Patents

机场跑道上的小尺度fod的检测装置及检测方法 Download PDF

Info

Publication number
CN113627305B
CN113627305B CN202110885609.1A CN202110885609A CN113627305B CN 113627305 B CN113627305 B CN 113627305B CN 202110885609 A CN202110885609 A CN 202110885609A CN 113627305 B CN113627305 B CN 113627305B
Authority
CN
China
Prior art keywords
node
fod
image
pixel
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110885609.1A
Other languages
English (en)
Other versions
CN113627305A (zh
Inventor
郑红
荆颖
林畅
郑文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110885609.1A priority Critical patent/CN113627305B/zh
Publication of CN113627305A publication Critical patent/CN113627305A/zh
Application granted granted Critical
Publication of CN113627305B publication Critical patent/CN113627305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机场跑道上的小尺度FOD的检测装置及检测方法，小尺度FOD检测装置由壳体、底座、可见光图像采集设备、图像预处理模块和小尺度FOD特征检测模块组成；图像预处理模块对接收到的跑道Y轴路面图像信息进行RGB颜色分量处理，然后依据亮度V、色调H和饱和度S的分量计算，得到HSV图像信息；小尺度FOD特征检测模块采用ERFA方法对HSV图像信息进行处理，获取掩膜信息，以此确定是否存在有外来物；最后将FOD位置信息输出给监控中心。本发明小尺度FOD检测装置安装在机场跑道两侧，用于实现近距离、小于10个像素的小尺度FOD检测。

Description

机场跑道上的小尺度FOD的检测装置及检测方法
技术领域
本发明涉及对机场跑道上的外来物(FOD)进行检测，更特别地说，是指一种基于进化随机森林方法对机场跑道上的小尺度FOD进行近距离检测的方法和装置。
背景技术
机场跑道上的外来物(Foreign Object Debris，FOD)是指出现在机场跑道上并可能对飞机造成损害的物体，如螺钉、螺母、橡胶块、碎石子等。飞机起降过程中其发动机产生强大的气动吸力，可能吸入跑道上某些FOD。FOD被吸入后会造成发动机故障。除此之外，跑道上的FOD还可能扎坏飞机起落架的轮胎。目前，绝大部分机场都依靠专职人员来检查和清理FOD，但是人工检查存在效率低、小尺度FOD漏检更为严重等问题。因此，国内外很多航空公司都积极研究开发自动FOD检测设备降低和规避FOD风险。
目前，自动FOD检测设备主要有雷达和计算机视觉两类。第一类毫米波雷达方法由分布安装于跑道边灯处的若干毫米波雷达或者安装于车载平台上的若干个毫米波雷达实时扫描跑道道面，一旦发现FOD则即刻报警。第二类计算机视觉方法则由分布安装在跑道的安装架上的若干个可见光/红外高分辨率摄像机或安装于车载平台上的若干个摄像机实时监视跑道道面，一旦发现FOD则即刻报警。2011年8月第41卷第8期《激光与红外》中公开的“机场跑道异物检测系统设计与研究”一文，文中详细介绍星型网络拓扑的智能机场异物检测系统，如图1所示。
机器视觉方法检测FOD存在三个难点。第一，FOD形状、材质、尺寸的不确定性要求检测方法具有更强的泛化能力；第二，机场跑道道面存在轮胎印痕、标志线、拼接缝、洞坑等各种干扰，增加了FOD检测难度；第三，由于飞机起降频繁，留给FOD检测和清理的时间有限，不仅要求检测准确(包括分类和定位)，而且要求检测效率高。
近几年的相关研究文献统计表明，FOD检测主要采用深度学习方法。该方法特点是通过嵌套的层次结构和非线性激活函数学习FOD的深层语义特征，能够更加抽象并且准确地表达目标。考虑到大部分FOD是从飞机机体掉落的螺钉、螺母以及钢珠等微小物体，并且相机一般只能采用远距离大视角安装，计算机视觉方法常面临小尺度FOD检测问题。虽然深度学习检测方法得到广泛地应用，但是，在小尺度FOD检测方面依然存在问题。其原因是FOD检测的性能依赖于卷积神经网络提取的深层语义特征，而提取深层语义特征的过程可能会导致小目标信息丢失。
对于跑道路面图像，不仅需要检测它是否有FOD，还需要对FOD定位。这个问题可以表述为图像分割任务，即给定一张跑道路面图像，得到FOD的掩膜图像。如果图像中有FOD，掩膜图像也能定位FOD。由于FOD的材质、尺度、形状都会影响雷达回波的强弱，可能导致雷达探测失效。计算机视觉方法中深度神经网络基本解决了一般FOD检测问题，但是其特征表达的结构特点使得小尺度(指成像结果小于10个像素的情形)FOD检测仍存在困难。
发明内容
为了解决机场跑道的复杂背景下不同材质、小尺度(小于10个像素)FOD检测出现漏检的问题，本发明设计了一种基于进化随机森林方法ERFA对机场跑道上的小尺度FOD进行检测的检测装置。
本发明的目的之二是提出一种基于进化随机森林方法ERFA对小尺度的FOD检测方法，采用可学习森林特征表示FOD特征，实现FOD区域分割。本发明小尺度FOD检测方法首先采用可学习特征表示方法，以向量形式任意排列特征，融合亮度、色调、饱和度以及空间相关信息；其次设计了以二次多项式构造的特征表示非线性组合的决策树节点分类模型；然后采用进化随机森林方法ERFA，通过差分进化算法学习FOD的决策森林特征表示；最后检测出机场跑道上的小尺度FOD。
本发明的一种基于进化随机森林方法ERFA进行机场跑道小尺度FOD的检测方法，其特征在于具体有下列步骤：
步骤A，获取外来物的图像信息；
采集到的FOD图像数据集采用集合形式表示为MFOD＝{PF1,PF2,…,PFw,…,PFW}；其中，PF1为第1张FOD图像；PF2为第2张FOD图像；PFw为第w张FOD图像；PFW为最后一张FOD图像；下角标w为FOD图像的标识号，下角标W为FOD图像的总张数；
对于任意一张FOD图像是由多个像素点构成，每一个像素点采用亮度V、色调H和饱和度S以及空间信息E作为特征元素；像素点也称为采样点；
第1张FOD图像PF1中的任意一个像素点记为所述/>的特征元素记为
第2张FOD图像PF2中的任意一个像素点记为所述/>的特征元素记为
第w张FOD图像PFw中的任意一个像素点记为所述/>的特征元素记为为了方便说明，下角标σ表示任意图像的像素点标识号；所述像素点σ的位置表示为σ(x,y)；
最后一张FOD图像PFW中的任意一个像素点记为所述/>的特征元素记为
小尺度FOD是指图像中的像素小于10个像素的情形；
步骤B，图像预处理；
步骤B1，获取RGB颜色分量；
采用RGB颜色模型对任意一张FOD图像PFw中的任意一个像素点进行红色red、绿色green和蓝色blue的分量提取，记为像素点/>的RGB颜色分量/>
同理，的RGB颜色分量记为/>
同理，的RGB颜色分量记为/>
同理，的RGB颜色分量记为/>
步骤B2，获取HSV颜色分量；
应用像素点的RGB颜色分量计算HSV模型中亮度V、色调H和饱和度S的分量；
Cmax＝max(red,green,blue) (1)
Cmin＝min(red,green,blue) (2)
V＝Cmax (3)
Cmax表示选取出像素点中RGB颜色分量的最大值，简称最大选取值；
Cmin表示选取出像素点中RGB颜色分量的最小值，简称最小选取值；
步骤B3，获取像素点的空间信息E；
在亮度层上，通过对当前像素与其局部邻域内像素关系的描述可以得到空间信息E；
XSi表示3×3窗口内的第i个像素点的亮度值；
XS平均表示3×3窗口内的9个像素点的亮度平均值；
步骤C，采用ERFA方法进行决策树的构建；
决策树为二叉树树型，设置了树深，树组数；每一棵决策树上有根节点、叶节点和叶子节点；
在到达最大树深时的所有节点将作为叶子节点；
步骤C1，基于进化随机森林构建一个空的决策树；
将FOD图像数据集MFOD作为决策树的根节点，即SS总＝{MFOD}；
步骤C2，将像素点集合作为决策树的子节点或叶子节点上的数据集；
将FOD图像数据集MFOD＝{PF1,PF2,…,PFw,…,PFW}作为进化随机森林方法ERFA的输入层信息；然后提取出每张图像中的各个像素点；
对于第1张FOD图像PF1中的像素点集合，记为其中，/>为图像PF1中的第1个像素点；/>为图像PF1中的第2个像素点；/>为图像PF1中的任意一个像素点；下角标η为图像PF1中像素点的标识号；
对于第2张FOD图像PF2中的像素点集合，记为其中，/>为图像PF2中的第1个像素点；/>为图像PF2中的第2个像素点；/>为图像PF2中的任意一个像素点；下角标/>为图像PF2中像素点的标识号；
对于第w张FOD图像PFw中的像素点集合，记为其中，/>为图像PFw中的第1个像素点；/>为图像PFw中的第2个像素点；/>为图像PFw中的任意一个像素点；下角标σ为图像PFw中像素点的标识号；
对于最后一张FOD图像PFW中的像素点集合，记为其中，/>为图像PFW中的第1个像素点；/>为图像PFW中的第2个像素点；/>为图像PFW中的任意一个像素点；下角标ψ为图像PFW中像素点的标识号；
步骤C3，构建决策树中节点的分类模型；
像素点特征响应关系记为其中，ω表示权重系数，α表示偏置；所述像素点特征响应关系是采用二次多项式构造的非线性组合；
在图像像素特征空间中，所有满足FPI＝1的采样点组成一个分割超曲面；该分割超曲面将图像像素特征空间划分为两个区域，即右子节点区域Right和左子节点区域Left；
当FPI＜1时，采样点被划分到决策树的右子节点；
当FPI＞1时，采样点被划分到决策树的左子节点；
步骤C4，确定损失函数Loss；
确定损失函数Loss，对不同的二次多项式分类模型进行评估；
定义损失函数Loss作为节点分类模型的评估函数；该评估函数由模型分类损失参数L分类和模型参数的正则化两部分组成，如下公式(7)所示：
步骤C5，节点分类模型学习；
给定评估函数Loss之后，利用差分进化算法实现节点二次多项式分类模型的优化；
每一个节点二次多项式分类模型可以看作是种群P中的任意一个个体，记为pi，其中1≤i≤N，则种群可表示为P＝{p1,p2,…,pi,…,pN}；使用随机数生成器来初始化种群中节点二次多项式分类模型的参数；影响进化过程的参数主要有缩放因子F、交叉率Cr以及最大迭代次数gmax；差分进化终止条件为连续迭代s次的损失函数Loss不变或者达到最大迭代次数gmax；差分进化的目的就是使每次迭代的损失函数减小，并选取当次迭代中损失函数最小的节点二次多项式分类模型作为本次迭代的最优节点二次多项式分类模型，如公式(8)所示；这样才能对节点二次多项式分类模型做出评估，不断改进节点二次多项式分类模型，最终找到一个最佳的节点二次多项式分类模型，使模型达到最优的分割效果；
pi表示种群P中第i个个体；下角标i为种群P中个体的标识号；所述pi也称为种群的单个体；所述种群的单个体pi包含的是由像素点特征响应关系中的权重系数ω和偏置α组成的向量，即种群向量/>
g表示迭代次数；位于所述g之前的迭代次数称为前一次迭代次数，记为g-1；位于所述g之后的迭代次数称为后一次迭代次数，记为g+1；
标准差分进化算法的进化过程包含三部分：变异、交叉和选择；标准差分进化算法采用差分策略来实现个体p1,p2,…,pi,…,pN之间的变异、交叉和选择；
变异群体，记为MUT_P，属于变异群体MUT_P中的任意一个变异个体，记为
交叉群体，记为CRO_P，属于交叉群体CRO_P中的任意一个变异个体，记为
选择群体，记为SEL_P，属于选择群体SEL_P中的任意一个变异个体，记为
迭代g次后的目标个体，记为
交叉生成的试验个体，记为交叉次数记为h，所述h与像素点特征响应关系FPI中的权重系数ω和偏置α相关，即h＝9；虚线边框位置是随机选取的交叉起点，交叉起点的参数从/>继承；通过第h-1次独立试验来决定/>中剩下的参数来源，如果随机函数rand(0,1)≤Cr，参数从/>中获得；随机函数rand(0,1)＞Cr，从目标个体/>中获得；所述rand(0,1)是一个由随机数生成器均匀生成的随机数序列；Cr为交叉率；
目标个体的损失，记为/>交叉试验个体/>的损失，记为/>选择是比较/>与/>的损失大小；
其中，损失较低的个体(或者/>)被选择进入下一代种群，记为P+1，如公式(9)所示的下一代个体选择关系/>选择保证了种群在迭代过程中不会出现总体损失升高的情况；
步骤C6，叶子节点生成；
叶子节点身份确认条件一：
当决策树达到预先设定的决策树最大深度D时，位于所述D层的节点作为叶子节点；
叶子节点身份确认条件二：
当节点包含的采样点数量少于预先设定的最少采样点数量δ，所述节点/>作为叶子节点；
叶子节点身份确认条件三：
当节点包含的采样点属于同一类别c时，所述节点/>作为叶子节点；
c＝0表示不是外来物；c＝1表示是外来物；
采用进化随机森林方法对像素特征得到一个二次多项式分类模型后，决策树中非叶子节点的样本被划分到左子节点或右子节点；如果任意一个节点不符合成为叶子节点/>的确认条件时，则继续分裂成子节点/>然后根据所述子节点/>上的像素点学习二次多项式分类模型；
如果任意一个节点符合成为叶子节点/>的确认条件时，则停止分裂，所述节点/>作为一个叶子节点；
当节点被标记为叶子节点/>时，统计节点/>上像素点的分布情况，计算每一类c的类别概率/>并将其存储在叶子节点/>上；类别概率/>的公式(10)为：
表示叶子节点上第c类采样点的数量；
类别概率为0到1之间的浮点数。
本发明小尺度FOD检测装置及检测方法的优点在于：
①本发明在构建进化随机森林模型ERFA的过程中，利用随机森林对机场跑道的复杂环境的适应性以及对未知数据的泛化能力和差分进化算法的寻优能力分割FOD区域，两者的深度结合使ERFA对FOD检测具有更高的鲁棒性和泛化能力。
②本发明采用可学习的特征表示来融合任何影响FOD分类的特征。
③本发明采用二次多项式节点分类模型来提高决策树的表示能力，以诱导出更紧凑、简单的树型结构。
④本发明利用多种评价指标对ERFA的表现进行评价，结果表明，ERFA能够准确分割小尺度FOD区域，可以有效地抑制背景干扰。
附图说明
图1是传统机场跑道异物检测的场景图。
图2是本发明的小尺度FOD检测装置与机场跑道的安装示意图图。
图3是本发明的小尺度FOD的检测装置的外部结构图。
图4是本发明机场跑道两侧的小尺度FOD检测装置的功能结构框图。
图5A是外来物的照片。
图5B是存在有车轮印及污物的机场跑道照片。
图5C是存在FOD的机场跑道照片。
图6是本发明实施例1构建得到的决策树结构图。
图7A是种群变异过程图。
图7B是种群交叉过程图。
图8是RGB颜色模型转换HSV模型的示意图。
图9是空间信息为3×3窗口显示图。
图10是图像中FOD的掩膜信息图。
图11是实施例1的查准率的柱状图。
图12是实施例1的查准率与查全率的曲线图。
图13是实施例1检测出的FOD对照图。
图14是实施例2的查准率的柱状图。
图15是实施例2的查准率与查全率的曲线图。
具体实施方式
下面将结合附图和实施例对本发明做进一步的详细说明。
参见图2所示，机场跑道的长度方向(即沿X轴方向)的两侧安装有多个照明灯(这是美国联邦航空管理局FAA制定的)，本发明小尺度FOD检测装置安装在每个照明灯的一侧，且摄像头的拍摄方向与照明灯出射光光束方向保持同一方向。本发明摄像头的拍摄方向采用与照明灯出射光都平行于Y轴方向，这样的安装未破坏机场跑道及两侧的照明灯。若将本发明小尺度FOD检测装置安装在照明灯上方，在维修照明灯时会造成小尺度FOD检测装置的拍摄方向需要重新调整的问题。
参见图3、图4所示，本发明小尺度FOD检测装置是近距离安装在机场跑道的两侧，同时与两侧安装的照明灯的出射光光束方向保持同一方向，保证了在可见光环境下对机场跑道进行近距离、小尺寸FOD检测，检测速度快、检测准确率高。
(一)小尺度FOD检测装置的组成
参见图3、图4所示，本发明的小尺度FOD检测装置由壳体、底座、可见光图像采集设备、图像预处理模块和小尺度FOD特征检测模块组成；
可见光图像采集设备放置在壳体内；壳体上设有通孔，所述通孔处放置有可见光图像采集设备的摄像头；摄像头利用该通孔对机场跑道上的异物进行拍照；
壳体的下方是底座，通过底座使本发明小尺度FOD检测装置安装在机场跑道的两侧；
图像预处理模块和小尺度FOD特征检测模块为存储在电子芯片硬件上的软件程序(采用C++编程语言，运行在linux系统下QT平台)，电子芯片是放置于壳体内的。所述的电子芯片可以是DSP芯片的TMS320系列，也可以是树莓派(Raspberry Pi)的一个嵌入式Linux板卡。
可见光图像采集设备可以选用Allied Vision Technologies(AVT)制造的MakoG-223C型号，也可以是中国大恒(集团)有限公司生成的MARS-3140-3GM/C-P型号。
本发明小尺度FOD检测装置可以作为“星型网络拓扑的智能机场异物检测系统(如图1所示)”的补充设备使用，也可以单独对小于10个像素的不同材质的小尺度FOD检测使用。
当作为图1系统的补充设备使用时，一方面是弥补了原有系统不能进行小于10个像素的不同材质的小尺度FOD检测，另一方面是降低更换原有系统的成本。
(二)小尺度FOD检测装置的信息处理流程
参见图4所示，本发明小尺度FOD检测装置，首先通过可见光图像采集设备依据拍照时间PTT对机场跑道Y轴方向的路面进行拍照，得到跑道Y轴路面图像信息，记为TXF；然后将所述跑道Y轴路面图像信息TXF输出给图像预处理模块；所述的拍照时间PTT为每间隔1分钟拍一次。
图像预处理模块对接收到的跑道Y轴路面图像信息TXF进行各个像素点提取，记为像素信息FOD_PI；然后对所述像素信息FOD_PI进行RGB颜色分量提取，得到像素点的RGB颜色分量值；最后依据像素点RGB颜色分量值进行亮度V、色调H和饱和度S的分量计算，得到HSV图像信息FOD_HSV；
小尺度FOD特征检测模块采用了进化随机森林方法(ERFA方法)对HSV图像信息FOD_HSV进行处理，获取掩膜信息，以此确定是否存在有外来物；最后将FOD位置信息输出给监控中心。
(三)小尺度FOD的检测方法
在本发明中，进化随机森林(Evolutionary Random Forest Algorithm，ERFA)方法是指在传统随机森林方法上增加了基于二次多项式判别函数(quadratic polynomial)的决策树节点分类模型，将差分进化算法作为决策森林中每棵决策树的学习策略，习得决策森林特征表达。
随机森林算法(Random Forest Algorithm，RFA)指的是利用多棵树对样本进行训练并预测的一种分类器。传统随机森林算法参考了2015年05月，天津大学出版社出版的《预测与评价》；作者:张影，李胜朋，谭建国等编著；第71－72页内容。
在本发明中，将随机森林算法(Random Forest Algorithm，RFA)与二次多项式判别函数(quadratic polynomial)相结合构建得到的模型称为基于进化随机森林方法ERFA方法进行机场跑道小尺度FOD检测装置。
本发明的一种基于进化随机森林方法ERFA进行机场跑道小尺度FOD的检测方法，具体有下列步骤：
步骤A，获取外来物的图像信息；
在本发明中，FOD图像数据集采用集合形式表示为MFOD＝{PF1,PF2,…,PFw,…,PFW}，PF1为第1张FOD图像，PF2为第2张FOD图像，PFw为第w张FOD图像，PFW为最后一张FOD图像，下角标w为FOD图像的标识号，下角标W为FOD图像的总张数。为了方便说明，所述PFw也称为任意一张FOD图像。
对于任意一张FOD图像PFw是由多个像素点构成，每一个像素点PI采用亮度V、色调H和饱和度S以及空间信息E作为特征元素，则说明每一个像素点PI为四元素信息，记为PI＝[V,H,S,E]。像素点也称为采样点。
第1张FOD图像PF1中的任意一个像素点记为所述/>的特征元素记为
第2张FOD图像PF2中的任意一个像素点记为所述/>的特征元素记为
第w张FOD图像PFw中的任意一个像素点记为所述/>的特征元素记为为了方便说明，下角标σ表示任意图像的像素点标识号；所述像素点σ的位置表示为σ(x,y)。
最后一张FOD图像PFW中的任意一个像素点记为所述/>的特征元素记为
本发明方法处理的小尺度FOD是指图像中的像素小于10个像素的情形。
根据美国联邦航空管理局(Federal Aviation Administration，FAA)发布的美国FAA 150/5220-24号咨询通告——机场FOD检测系统技术标准。为了完成基于ERFA方法进行机场跑道小尺度FOD检测装置的构建，在本发明中，准备了不同FOD样件图像、机场跑道干扰图像、以及两者结合的干扰－FOD结合图像，作为FOD图像数据集。
所述的不同FOD样件图像指的是螺母、螺钉、钢珠、垫片、橡胶块、大理石、玻璃、塑料及碎石子的图像等，如图5A所示。不同FOD样件的尺寸范围是0.5cm～3cm。
所述的机场跑道干扰图像指的是机场跑道路面上存在的轮胎印、标志线、拼接缝及洞坑的图像等，如图5B所示。
所述的干扰－FOD结合图像指的是同时存在有FOD样件和机场跑道干扰的图像，如图5C所示。
在本发明中，FOD图像数据集中的每张图像大小为1920×1080像素，RGB图像，共有1784张。FOD样件在图像中的尺度是5～100个像素。为了对FOD检测结果进行评估，FOD图像数据集中的图像进行了像素级标注。在基于ERFA方法的训练阶段，随机选择FOD图像数据集中的1250张图像作为训练集，其余的534张图像作为测试集。
步骤B，图像预处理；
步骤B1，获取RGB颜色分量；
参见图8所示，采用RGB颜色模型对任意一张FOD图像PFw中的任意一个像素点进行红色red、绿色green和蓝色blue的分量提取，记为像素点/>的RGB颜色分量/>
同理，的RGB颜色分量记为/>
同理，的RGB颜色分量记为/>
同理，的RGB颜色分量记为/>
步骤B2，获取HSV颜色分量；
参见图8所示，应用像素点的RGB颜色分量计算HSV模型中亮度V、色调H和饱和度S的分量；
Cmax＝max(red,green,blue) (1)
Cmin＝min(red,green,blue) (2)
V＝Cmax (3)
Cmax表示选取出像素点中RGB颜色分量的最大值，简称最大选取值。
Cmin表示选取出像素点中RGB颜色分量的最小值，简称最小选取值。
例如，像素点的RGB颜色中红色red＝100、绿色green＝60和蓝色blue＝150，这时蓝色blue＝150为最大值，则最大选取值Cmax的赋值为蓝色blue＝150；则最小选取值Cmin的赋值为绿色green＝60。
步骤B3，获取像素点的空间信息E；
参见图9所示，在亮度层上，通过对当前像素与其局部邻域内像素关系的描述可以得到空间信息E。
XSi表示3×3窗口内的第i个像素点的亮度值。
XS平均表示3×3窗口内的9个像素点的亮度平均值。
步骤C，采用进化随机森林方法(ERFA方法)的决策树构建；
在本发明中，决策树中的任意一个节点，记为上角标q表示决策树的树深，下角标n表示节点的标识号。q＝(Ⅰ,Ⅱ,Ⅲ,Ⅳ,Ⅴ,…)，第一层记为Ⅰ，第二层记为Ⅱ，第三层记为Ⅲ，第四层记为Ⅳ。所述/>的身份有子节点/>和叶子节点/>决策树的树根记为SS总。
为了方便说明，如图6所示的二叉树结构的决策树。树深q＝4，树组数(2q)最大为8。树根SS总有2个子节点，即第一层左子节点第一层右子节点/>
在本发明中，决策树的第一层Ⅰ的树组数为2。
第一层左子节点有2个子节点，即属于/>的左子节点，记为第二层第1个左子节点/>属于/>的右子节点，记为第二层第1个右子节点/>
第一层右子节点有2个子节点，即属于/>的左子节点，记为第二层第2个左子节点/>属于/>的右子节点，记为第二层第2个右子节点/>
在本发明中，决策树的第二层Ⅱ的树组数为4。
第二层第1个左子节点有2个子节点，即属于/>的左子节点，记为第三层第1个左子节点/>属于/>的右子节点，记为第三层第1个右子节点/>
第二层第1个右子节点有2个子节点，即属于/>的左子节点，记为第三层第2个左子节点/>属于/>的右子节点，记为第三层第2个右子节点/>
第二层第2个左子节点有2个子节点，即属于/>的左子节点，记为第三层第3个左子节点/>属于/>的右子节点，记为第三层第3个右子节点/>
第二层第2个右子节点有2个子节点，即属于/>的左子节点，记为第三层第4个左子节点/>属于/>的右子节点，记为第三层第4个右子节点/>
经叶子节点身份确认条件的判断后，第三层第1个左子节点第三层第2个左子节点/>第三层第2个右子节点/>和第三层第3个右子节点/>为叶子节点，对于所述叶子节点将不在继续树叉划分。
在本发明中，决策树的第三层Ⅲ的树组数为8。
第三层第1个右子节点有2个子节点，即属于/>的左子节点，记为第四层第2个左子节点/>属于/>的右子节点，记为第四层第2个右子节点/>
第三层第3个左子节点有2个子节点，即属于/>的左子节点，记为第四层第5个左子节点/>属于/>的右子节点，记为第四层第5个右子节点/>
第三层第4个左子节点有2个子节点，即属于/>的左子节点，记为第四层第7个左子节点/>属于/>的右子节点，记为第四层第7个右子节点/>
第三层第4个右子节点有2个子节点，即属于/>的左子节点，设为第四层第8个左子节点/>属于/>的右子节点，设为第四层第8个右子节点/>
在到达最大树深时的所有节点将作为叶子节点，即第四层的所有节点都是叶子节点了。
步骤C1，基于进化随机森林构建一个空的决策树；
将FOD图像数据集MFOD作为决策树的根节点，即SS总＝{MFOD}；
步骤C2，将像素点集合作为决策树的子节点或叶子节点上的数据集；
将FOD图像数据集MFOD＝{PF1,PF2,…,PFw,…,PFW}作为进化随机森林方法ERFA的输入层信息；然后提取出每张图像中的各个像素点。
对于第1张FOD图像PF1中的像素点集合，记为
对于第2张FOD图像PF2中的像素点集合，记为
对于第w张FOD图像PFw中的像素点集合，记为
对于最后一张FOD图像PFW中的像素点集合，记为
步骤C3，构建决策树中节点的分类模型；
在本发明中，像素点特征响应关系记为其中，ω表示权重系数，α表示偏置。所述像素点特征响应关系是采用二次多项式构造的非线性组合。
在图像像素特征空间中，所有满足FPI＝1的采样点组成一个分割超曲面。该分割超曲面将图像像素特征空间划分为两个区域，即右子节点区域Right和左子节点区域Left。
当FPI＜1时，采样点被划分到决策树的右子节点。
当FPI＞1时，采样点被划分到决策树的左子节点。
步骤C4，确定损失函数Loss；
在本发明中，确定损失函数Loss，对不同的二次多项式分类模型进行评估；
定义损失函数Loss作为节点分类模型的评估函数。该评估函数由模型分类损失参数L分类和模型参数的正则化两部分组成，如下公式所示：
L分类是模型分类损失参数。
λ是正则化系数。
||θ||是二范数的正则化项。
n是决策树上的节点标识号。
j是节点n的子节点标识号，j＝Left表示左子节点，j＝Right表示右子节点。
Qn是节点n上的采样点数量；是节点n的子节点j上的采样点数量。
c是类别标识号，c＝0表示不是外来物(即FOD非)，c＝1表示是外来物(即FOD是)。
p占比(c|j,n)是节点n的子节点j上第c类采样点所占的比例。
分类损失的作用是评估节点分类模型将不同类别的样本划分到不同子节点的能力。一般而言，随着划分过程不断进行，希望决策树的分支节点上的样本尽可能属于同一类别，即节点的“纯度”越来越高。一般选择信息熵衡量数据集的纯度，信息熵越小，则意味着数据集的“纯度”越高。在本发明中采用信息熵计算分类损失。模型参数的正则化损失的作用是防止模型过拟合，采用二范数计算。综合以上两部分得到节点分类模型的损失函数，Loss的值越小，说明节点分类模型的分类能力越强。
步骤C5，节点分类模型学习；
给定评估函数Loss之后，利用差分进化算法实现节点二次多项式分类模型的优化。差分进化算法是一类基于群体的自适应全局优化方法，其核心是利用差分策略和优胜劣汰法则来指引种群更新方向，从而得到最优解。每一个节点二次多项式分类模型可以看作是种群P中的任意一个个体，记为pi，其中1≤i≤N，则种群可表示为P＝{p1,p2,…,pi,…,pN}。在本发明中使用随机数生成器来初始化种群中节点二次多项式分类模型的参数。影响进化过程的参数主要有缩放因子F、交叉率Cr以及最大迭代次数gmax。差分进化终止条件为连续迭代s次的损失函数Loss不变或者达到最大迭代次数gmax。差分进化的目的就是使每次迭代的损失函数减小，并选取当次迭代中损失函数最小的节点二次多项式分类模型作为本次迭代的最优节点二次多项式分类模型，如公式(8)所示。这样才能对节点二次多项式分类模型做出评估，不断改进节点二次多项式分类模型，最终找到一个最佳的节点二次多项式分类模型，使模型达到最优的分割效果。
p1表示种群P中第1个个体。
p2表示种群P中第2个个体。
pi表示种群P中第i个个体。下角标i为种群P中个体的标识号。为了方便说明，所述pi也称为种群的单个体。所述种群的单个体pi包含的是由像素点特征响应关系中的权重系数ω和偏置α组成的向量，即种群向量
pN表示种群P中最后一个个体。下角标N为种群P中个体的总数目，也是种群规模。
gmax表示最大迭代次数。
g表示迭代次数。位于所述g之前的迭代次数称为前一次迭代次数，记为g-1。位于所述g之后的迭代次数称为后一次迭代次数，记为g+1。
s表示连续迭代的次数。
在本发明中，标准差分进化算法的进化过程包含三部分：变异、交叉和选择。标准差分进化算法采用差分策略来实现个体p1,p2,…,pi,…,pN之间的变异、交叉和选择。
在本发明中，变异群体，记为MUT_P，属于变异群体MUT_P中的任意一个变异个体，记为
在本发明中，交叉群体，记为CRO_P，属于交叉群体CRO_P中的任意一个变异个体，记为
在本发明中，选择群体，记为SEL_P，属于选择群体SEL_P中的任意一个变异个体，记为/>
在本发明中，迭代g次后的目标个体，记为
在本发明中，标准差分进化算法参考2014年05月北京理工大学出版社，《差分进化算法理论与应用》，作者张春美，第2－7页。
在本发明中，变异过程如图7A所示。(a)迭代到第g次的群体；(b)是变异的群体双点线边框位置是目标个体；虚线边框位置是随机选择的参与差分变异的个体；单点线边框位置是差分变异后生成的变异个体；F是缩放因子。在图7A中的后一个圆圈处代表了迭代到第g次时的前一个个体的像素值减去后一个个体/>的像素值的差，用所述的差值乘以缩放因子F得到了差分值。所述差分值与前一个圆圈处代表的个体像素值的和作为变异个体的像素值。
在本发明中，交叉过程如图7B所示。交叉生成的试验个体，记为交叉次数记为h，所述h与像素点特征响应关系FPI中的权重系数ω和偏置α相关，即h＝9。虚线边框位置是随机选取的交叉起点，交叉起点的参数从/>继承；通过第h-1次独立试验来决定/>中剩下的参数来源，如果随机函数rand(0,1)≤Cr，参数从/>中获得；随机函数rand(0,1)＞Cr，从目标个体/>中获得；所述rand(0,1)是一个由随机数生成器均匀生成的随机数序列；Cr为交叉率。
在本发明中，目标个体的损失，记为/>交叉试验个体/>的损失，记为选择是比较/>与/>的损失大小。
其中，损失较低的个体(或者/>)被选择进入下一代种群，记为P+1，如公式(9)所示的下一代个体选择关系/>选择保证了种群在迭代过程中不会出现总体损失升高的情况。
步骤C6，叶子节点生成；
叶子节点身份确认条件一：
当决策树达到预先设定的决策树最大深度D时，位于所述D层的节点作为叶子节点。
叶子节点身份确认条件二：
当节点包含的采样点数量少于预先设定的最少采样点数量δ，所述节点/>作为叶子节点。
在本发明中，一般δ＝10。
叶子节点身份确认条件三：
当节点包含的采样点属于同一类别c时，所述节点/>作为叶子节点。
c＝0表示不是外来物(即FOD非)，c＝1表示是外来物(即FOD是)。
在本发明中，在进行节点身份判别时，若其中一个确认条件满足时，则不执行其余两个确认条件。
在本发明中，采用进化随机森林方法对像素特征得到一个二次多项式分类模型后，决策树中非叶子节点的样本被划分到左子节点或右子节点。如图6所示的决策树中，如果任意一个节点不符合成为叶子节点/>的确认条件时，则继续分裂成子节点然后根据所述子节点/>上的像素点学习二次多项式分类模型；
如果任意一个节点符合成为叶子节点/>的确认条件时，则停止分裂，所述节点/>作为一个叶子节点。
当节点被标记为叶子节点/>时，统计节点/>上像素点的分布情况，计算每一类c的类别概率/>并将其存储在叶子节点/>上。类别概率/>的公式为：
表示叶子节点上第c类采样点的数量。
在本发明中，类别概率为0到1之间的浮点数。
实施例1
构建具有10棵决策树的小尺度FOD检测装置
软件运行于linux系统下QT平台。
用可见光图像采集设备采集如图5A、图5B和图5C所示的不同FOD样件的共1250张图像信息，然后将这1250张图像信息作为1920×1080尺寸的FOD检测图像。在实施例1中，1250张1920×1080的FOD检测图像中则有2,592,000,000个像素点将作为测试集数据。
采用随机数发生器分别从测试集数据中进行10次处理生成10棵决策树的树根。第1棵决策树的树根，记为第2棵决策树的树根，记为/>第3棵决策树的树根，记为第4棵决策树的树根，记为/>第5棵决策树的树根，记为/>第6棵决策树的树根，记为/>第7棵决策树的树根，记为/>第8棵决策树的树根，记为/>第9棵决策树的树根，记为/>第10棵决策树的树根，记为/>
设置决策树的树深q＝20，树组数为40。决策树树型结构类似图6所示。
第1棵决策树的在第5层时出现了3个叶子节点、在第6层时出现了6个叶子节点、在第7层时出现了14个叶子节点、在第8层时出现了19个叶子节点、在第9层时出现了25个叶子节点、在第10层时出现了26个叶子节点、在第11层时出现了25个叶子节点、在第12层时出现了24个叶子节点、在第13层时出现了22个叶子节点、在第14层时出现了22个叶子节点、在第15层时出现了23个叶子节点、在第16层时出现了23个叶子节点、在第17层时出现了18个叶子节点、在第18层时出现了22个叶子节点、在第19层时出现了20个叶子节点、在第20层时出现了32个叶子节点。
第2棵决策树的在第5层时出现了5个叶子节点、在第6层时出现了6个叶子节点、在第7层时出现了11个叶子节点、在第8层时出现了20个叶子节点、在第9层时出现了16个叶子节点、在第10层时出现了23个叶子节点、在第11层时出现了17个叶子节点、在第12层时出现了20个叶子节点、在第13层时出现了15个叶子节点、在第14层时出现了12个叶子节点、在第15层时出现了12个叶子节点、在第16层时出现了20个叶子节点、在第17层时出现了11个叶子节点、在第18层时出现了12个叶子节点、在第19层时出现了14个叶子节点、在第20层时出现了28个叶子节点。
第3棵决策树的在第4层时出现了1个叶子节点、在第5层时出现了3个叶子节点、在第6层时出现了9个叶子节点、在第7层时出现了12个叶子节点、在第8层时出现了12个叶子节点、在第9层时出现了13个叶子节点、在第10层时出现了12个叶子节点、在第11层时出现了9个叶子节点、在第12层时出现了10个叶子节点、在第13层时出现了12个叶子节点、在第14层时出现了12个叶子节点、在第15层时出现了13个叶子节点、在第16层时出现了12个叶子节点、在第17层时出现了10个叶子节点、在第18层时出现了9个叶子节点、在第19层时出现了11个叶子节点、在第20层时出现了22个叶子节点。
第4棵决策树的在第4层时出现了1个叶子节点、在第5层时出现了3个叶子节点、在第6层时出现了7个叶子节点、在第7层时出现了11个叶子节点、在第8层时出现了18个叶子节点、在第9层时出现了16个叶子节点、在第10层时出现了16个叶子节点、在第11层时出现了18个叶子节点、在第12层时出现了14个叶子节点、在第13层时出现了12个叶子节点、在第14层时出现了18个叶子节点、在第15层时出现了16个叶子节点、在第16层时出现了11个叶子节点、在第17层时出现了14个叶子节点、在第18层时出现了11个叶子节点、在第19层时出现了14个叶子节点、在第20层时出现了24个叶子节点。
第5棵决策树的在第5层时出现了5个叶子节点、在第6层时出现了6个叶子节点、在第7层时出现了10个叶子节点、在第8层时出现了13个叶子节点、在第9层时出现了13个叶子节点、在第10层时出现了15个叶子节点、在第11层时出现了21个叶子节点、在第12层时出现了19个叶子节点、在第13层时出现了16个叶子节点、在第14层时出现了15个叶子节点、在第15层时出现了11个叶子节点、在第16层时出现了16个叶子节点、在第17层时出现了12个叶子节点、在第18层时出现了18个叶子节点、在第19层时出现了13个叶子节点、在第20层时出现了30个叶子节点。
第6棵决策树的在第5层时出现了1个叶子节点、在第6层时出现了7个叶子节点、在第7层时出现了13个叶子节点、在第8层时出现了14个叶子节点、在第9层时出现了16个叶子节点、在第10层时出现了15个叶子节点、在第11层时出现了19个叶子节点、在第12层时出现了16个叶子节点、在第13层时出现了16个叶子节点、在第14层时出现了13个叶子节点、在第15层时出现了9个叶子节点、在第16层时出现了15个叶子节点、在第17层时出现了12个叶子节点、在第18层时出现了11个叶子节点、在第19层时出现了9个叶子节点、在第20层时出现了18个叶子节点。
第7棵决策树的在第5层时出现了4个叶子节点、在第6层时出现了9个叶子节点、在第7层时出现了11个叶子节点、在第8层时出现了14个叶子节点、在第9层时出现了16个叶子节点、在第10层时出现了16个叶子节点、在第11层时出现了18个叶子节点、在第12层时出现了14个叶子节点、在第13层时出现了13个叶子节点、在第14层时出现了14个叶子节点、在第15层时出现了15个叶子节点、在第16层时出现了21个叶子节点、在第17层时出现了14个叶子节点、在第18层时出现了14个叶子节点、在第19层时出现了10个叶子节点、在第20层时出现了20个叶子节点。
第8棵决策树的在第4层时出现了1个叶子节点、在第5层时出现了3个叶子节点、在第6层时出现了9个叶子节点、在第7层时出现了10个叶子节点、在第8层时出现了15个叶子节点、在第9层时出现了15个叶子节点、在第10层时出现了18个叶子节点、在第11层时出现了19个叶子节点、在第12层时出现了21个叶子节点、在第13层时出现了13个叶子节点、在第14层时出现了14个叶子节点、在第15层时出现了13个叶子节点、在第16层时出现了10个叶子节点、在第17层时出现了13个叶子节点、在第18层时出现了11个叶子节点、在第19层时出现了12个叶子节点、在第20层时出现了20个叶子节点。
第9棵决策树的在第5层时出现了4个叶子节点、在第6层时出现了6个叶子节点、在第7层时出现了13个叶子节点、在第8层时出现了20个叶子节点、在第9层时出现了24个叶子节点、在第10层时出现了20个叶子节点、在第11层时出现了22个叶子节点、在第12层时出现了19个叶子节点、在第13层时出现了17个叶子节点、在第14层时出现了18个叶子节点、在第15层时出现了15个叶子节点、在第16层时出现了18个叶子节点、在第17层时出现了18个叶子节点、在第18层时出现了10个叶子节点、在第19层时出现了20个叶子节点、在第20层时出现了32个叶子节点。
第10棵决策树的在第5层时出现了5个叶子节点、在第6层时出现了8个叶子节点、在第7层时出现了9个叶子节点、在第8层时出现了14个叶子节点、在第9层时出现了14个叶子节点、在第10层时出现了17个叶子节点、在第11层时出现了19个叶子节点、在第12层时出现了20个叶子节点、在第13层时出现了20个叶子节点、在第14层时出现了18个叶子节点、在第15层时出现了14个叶子节点、在第16层时出现了14个叶子节点、在第17层时出现了14个叶子节点、在第18层时出现了14个叶子节点、在第19层时出现了12个叶子节点、在第20层时出现了32个叶子节点。
搜寻图像中存在的FOD
(A)采用类别概率计算公式来计算每一棵决策树的叶子节点上的类别概率。每一类的类别概率为0到1之间的浮点数。
(B)将10棵决策树的每一类的类别概率进行平均，得到像素点是FOD的概率，记为不是FOD的概率，记为/>
(C)若则像素点是FOD；
若则像素点不是FOD；
获取FOD位置信息
计算图像中所有像素的类别，得到所有的FOD像素后，对检测到FOD的掩膜信息进行分析。通过计算FOD区域的中心坐标以及宽高来对FOD进行定位。如图10所示，图中虚线框代表FOD区域，图像坐标系记为XOY，任意像素点的位置记为(x,y)。
首先，对掩膜信息进行区域标记，得到FOD区域，所述FOD区域中存在有z个像素点σ；然后，提取每个连通域的中心位置坐标(x中心,y中心)、宽度width和高度height，构成了FOD位置信息FOD位置；最后将FOD位置信息输出给监控中心。
所述FOD位置信息xmax为FOD区域在X轴方向上的最大值；xmin为FOD区域在X轴方向上的最小值；ymax为FOD区域在Y轴方向上的最大值；ymin为FOD区域在Y轴方向上的最小值。
经本发明方法对机场跑道上外来物检测后得到的FOD检测查准率
参见图11所示，图中为随机森林(Random Forest，RF)、Mask-RCNN、Deeplab-V3+四种方法对不同材质的FOD检测查准率柱状图。查准率是正确识别FOD数量占总识别目标数量的比例。将FOD样件分为金属类、橡胶类、塑料类、混凝土类以及玻璃类，共5类不同材质的FOD。四种方法的检测结果在同一个linux系统上用相同的测试集数据得到。从图中可以看出，对于5类不同材质的FOD，ERFA的检测准确率都高于其它三种方法。说明，ERF的检测性能明显优于典型的随机森林RF、深度学习方法Masks-RCNN、Deeplabv3+，对于检测的对照参见图13所示，图中有一个螺钉、一个钢珠、轮胎印痕及拼接缝。可以看出，ERFA可以检测到螺钉和钢珠，在轮胎印痕和拼接缝处没有虚警。
经本发明方法对机场跑道上外来物检测后得到的FOD查准率与查全率的曲线关系
参见图12所示，图中为随机森林(Random Forest，RF)、Mask-RCNN、Deeplab-V3+四种方法的查准率与查全率的曲线图。查全率是正确识别FOD数量占样本总FOD数量的比例。查准率为正确识别FOD数量占总识别目标数量的比例。四种方法的检测结果在同一个linux系统上用相同的测试集数据得到。从图中可以看出，ERFA的P-R曲线把其它三种方法的曲线完全“包住”，则说明ERFA的性能优于其它三种方法。即查全率相同的情况下，ERFA的查准率最高，说明ERFA的泛化性能最好。其次是Deeplab-V3+和Mask-RCNN，最后是RF。
实施例2
构建具有3棵决策树的小尺度FOD检测装置
软件运行于linux系统下QT平台。
用可见光图像采集设备采集如图5A、图5B和图5C所示的不同FOD样件的共9张图像信息，然后将这9张图像信息作为1920×1080尺寸的FOD检测图像。在实施例2中，9张1920×1080的FOD检测图像中则有18,662,400个像素点将作为测试集数据。
采用随机数发生器分别从测试集数据中进行3次处理生成3棵决策树的树根。第1棵决策树的树根，记为第2棵决策树的树根，记为/>第3棵决策树的树根，记为/>
设置决策树的树深q＝5，树组数为10。决策树树型结构类似图6所示。
第1棵决策树的在第5层时出现了11个叶子节点。/>
第2棵决策树的在第5层时出现了13个叶子节点。
第3棵决策树的在第5层时出现了15个叶子节点。
搜寻图像中存在的FOD
(A)采用类别概率计算公式来计算每一棵决策树的叶子节点上的类别概率。每一类的类别概率为0到1之间的浮点数。
(B)将3棵决策树的每一类的类别概率进行平均，得到像素点是FOD的概率，记为不是FOD的概率，记为/>
(C)若则像素点是FOD；
若则像素点不是FOD；
获取FOD位置信息
计算图像中所有像素的类别，得到所有的FOD像素后，对检测到FOD的掩膜信息进行分析。通过计算FOD区域的中心坐标以及宽高来对FOD进行定位。如图10所示，图中虚线框代表FOD区域，图像坐标系记为XOY，任意像素点的位置记为(x,y)。
首先，对掩膜信息进行区域标记，得到FOD区域，所述FOD区域中存在有z个像素点σ；然后，提取每个连通域的中心位置坐标(x中心,y中心)、宽度width和高度height，构成了FOD位置信息FOD位置；最后将FOD位置信息输出给监控中心。
所述FOD位置信息xmax为FOD区域在X轴方向上的最大值；xmin为FOD区域在X轴方向上的最小值；ymax为FOD区域在Y轴方向上的最大值；ymin为FOD区域在Y轴方向上的最小值。
经本发明方法对机场跑道上外来物检测后得到的FOD检测查准率
参见图14所示，图中为随机森林(Random Forest,RF)、Mask-RCNN、Deeplab-V3+四种方法对不同材质的FOD检测查准率柱状图。查准率是正确识别FOD数量占总识别目标数量的比例。将FOD样件分为金属类、橡胶类、塑料类、混凝土类以及玻璃类，共5类不同材质的FOD。四种方法的检测结果在同一个linux系统上用相同的测试集数据得到。从图中可以看出，对于金属类FOD，ERFA的检测准确率高于其它三种方法，而其它四种材质，ERFA的检测查准率低于其它三种方法，主要是由于ERFA的决策树的数量为3，决策树的树深q＝5，不足以对大型的测试集数据进行充分的训练。
经本发明方法对机场跑道上外来物检测后得到的FOD查准率与查全率的曲线关系
参见图15所示，图中为随机森林(Random Forest,RF)、Mask-RCNN、Deeplab-V3+四种方法的查准率与查全率的曲线图。查全率是正确识别FOD数量占样本总FOD数量的比例。查准率为正确识别FOD数量占总识别目标数量的比例。四种方法的检测结果在同一个linux系统上用相同的测试集数据得到。从图中可以看出，ERFA的P-R曲线被Deeplab-V3+和Mask-RCNN的曲线完全“包住”，则说明Deeplab-V3+和Mask-RCNN的性能优于ERFA方法。主要是由于ERFA的决策树的数量为3，决策树的树深q＝5，不足以对大型的测试集数据进行充分的训练。

Claims (1)

1.一种基于进化随机森林方法ERFA进行机场跑道小尺度FOD的检测方法，其特征在于具体有下列步骤：
步骤A，获取外来物的图像信息；
采集到的FOD图像数据集采用集合形式表示为MFOD＝{PF1,PF2,…,PFw,…,PFW}；
PF1为第1张FOD图像；
PF2为第2张FOD图像；
PFw为第w张FOD图像；
PFW为最后一张FOD图像；
下角标w为FOD图像的标识号，下角标W为FOD图像的总张数；
对于任意一张FOD图像是由多个像素点构成，每一个像素点采用亮度V、色调H和饱和度S以及空间信息E作为特征元素；像素点也称为采样点；
第1张FOD图像PF1中的任意一个像素点记为所述/>的特征元素记为/>
第2张FOD图像PF2中的任意一个像素点记为所述/>的特征元素记为/>
第w张FOD图像PFw中的任意一个像素点记为所述/>的特征元素记为/>为了方便说明，下角标σ表示任意图像的像素点标识号；所述像素点σ的位置表示为σ(x,y)；
最后一张FOD图像PFW中的任意一个像素点记为所述/>的特征元素记为/>
小尺度FOD是指图像中的像素小于10个像素的情形；
步骤B，图像预处理；
步骤B1，获取RGB颜色分量；
采用RGB颜色模型对任意一张FOD图像PFw中的任意一个像素点进行红色red、绿色green和蓝色blue的分量提取，记为像素点/>的RGB颜色分量/>
同理，的RGB颜色分量记为/>
同理，的RGB颜色分量记为/>
同理，的RGB颜色分量记为/>
步骤B2，获取HSV颜色分量；
应用像素点的RGB颜色分量计算HSV模型中亮度V、色调H和饱和度S的分量；
Cmax＝max(red,green,blue) (1)
Cmin＝min(red,green,blue) (2)
V＝Cmax (3)
Cmax表示选取出像素点中RGB颜色分量的最大值，简称最大选取值；
Cmin表示选取出像素点中RGB颜色分量的最小值，简称最小选取值；
步骤B3，获取像素点的空间信息E；
在亮度层上，通过对当前像素与其局部邻域内像素关系的描述可以得到空间信息E；
XSi表示3×3窗口内的第i个像素点的亮度值；
XS平均表示3×3窗口内的9个像素点的亮度平均值；
步骤C，采用ERFA方法进行决策树的构建；
决策树为二叉树树型，设置了树深，树组数；每一棵决策树上有根节点、叶节点和叶子节点；
在到达最大树深时的所有节点将作为叶子节点；
步骤C1，基于进化随机森林构建一个空的决策树；
将FOD图像数据集MFOD作为决策树的根节点，即SS总＝{MFOD}；
步骤C2，将像素点集合作为决策树的子节点或叶子节点上的数据集；
将FOD图像数据集MFOD＝{PF1,PF2,…,PFw,…,PFW}作为进化随机森林方法ERFA的输入层信息；然后提取出每张图像中的各个像素点；
对于第1张FOD图像PF1中的像素点集合，记为
为图像PF1中的第1个像素点；
为图像PF1中的第2个像素点；
为图像PF1中的任意一个像素点；下角标η为图像PF1中像素点的标识号；
对于第2张FOD图像PF2中的像素点集合，记为
为图像PF2中的第1个像素点；
为图像PF2中的第2个像素点；
为图像PF2中的任意一个像素点；下角标/>为图像PF2中像素点的标识号；
对于第w张FOD图像PFw中的像素点集合，记为
为图像PFw中的第1个像素点；
为图像PFw中的第2个像素点；
为图像PFw中的任意一个像素点；下角标σ为图像PFw中像素点的标识号；
对于最后一张FOD图像PFW中的像素点集合，记为
为图像PFW中的第1个像素点；
为图像PFW中的第2个像素点；
为图像PFW中的任意一个像素点；下角标ψ为图像PFW中像素点的标识号；
步骤C3，构建决策树中节点的分类模型；
像素点特征响应关系记为其中，ω表示权重系数，α表示偏置；所述像素点特征响应关系是采用二次多项式构造的非线性组合；
在图像像素特征空间中，所有满足FPI＝1的采样点组成一个分割超曲面；该分割超曲面将图像像素特征空间划分为两个区域，即右子节点区域Right和左子节点区域Left；
当FPI＜1时，采样点被划分到决策树的右子节点；
当FPI＞1时，采样点被划分到决策树的左子节点；
步骤C4，确定损失函数Loss；
确定损失函数Loss，对不同的二次多项式分类模型进行评估；
定义损失函数Loss作为节点分类模型的评估函数；该评估函数由模型分类损失参数L分类和模型参数的正则化两部分组成，如下公式(7)所示：
L分类是模型分类损失参数；
λ是正则化系数；
||θ||是二范数的正则化项；
n是决策树上的节点标识号；
j是节点n的子节点标识号，j＝Left表示左子节点，j＝Right表示右子节点；
Qn是节点n上的采样点数量；是节点n的子节点j上的采样点数量；
c是类别标识号，c＝0表示不是外来物，即FOD非，c＝1表示是外来物，即FOD是；
p占比(c|j,n)是节点n的子节点j上第c类采样点所占的比例；
步骤C5，节点分类模型学习；
给定评估函数Loss之后，利用差分进化算法实现节点二次多项式分类模型的优化；
每一个节点二次多项式分类模型可以看作是种群P中的任意一个个体，记为pi，其中1≤i≤N，则种群可表示为P＝{p1,p2,…,pi,…,pN}；使用随机数生成器来初始化种群中节点二次多项式分类模型的参数；影响进化过程的参数主要有缩放因子F、交叉率Cr以及最大迭代次数gmax；差分进化终止条件为连续迭代s次的损失函数Loss不变或者达到最大迭代次数gmax；差分进化的目的就是使每次迭代的损失函数减小，并选取当次迭代中损失函数最小的节点二次多项式分类模型作为本次迭代的最优节点二次多项式分类模型，如公式(8)所示；这样才能对节点二次多项式分类模型做出评估，不断改进节点二次多项式分类模型，最终找到一个最佳的节点二次多项式分类模型，使模型达到最优的分割效果；
p1表示种群P中第1个个体；
p2表示种群P中第2个个体；
pi表示种群P中第i个个体；下角标i为种群P中个体的标识号；
所述pi也称为种群的单个体；所述种群的单个体pi包含的是由像素点特征响应关系中的权重系数ω和偏置α组成的向量，即种群向量
pN表示种群P中最后一个个体；下角标N为种群P中个体的总数目，也是种群规模；
gmax表示最大迭代次数；
g表示迭代次数；位于所述g之前的迭代次数称为前一次迭代次数，记为g-1；位于所述g之后的迭代次数称为后一次迭代次数，记为g+1；
s表示连续迭代的次数；
标准差分进化算法的进化过程包含三部分：变异、交叉和选择；标准差分进化算法采用差分策略来实现个体p1,p2,…,pi,…,pN之间的变异、交叉和选择；
变异群体，记为MUT_P，属于变异群体MUT_P中的任意一个变异个体，记为
交叉群体，记为CRO_P，属于交叉群体CRO_P中的任意一个变异个体，记为
选择群体，记为SEL_P，属于选择群体SEL_P中的任意一个变异个体，记为
迭代g次后的目标个体，记为
交叉生成的试验个体，记为交叉次数记为h，所述h与像素点特征响应关系FPI中的权重系数ω和偏置α相关，即h＝9；虚线边框位置是随机选取的交叉起点，交叉起点的参数从/>继承；通过第h-1次独立试验来决定/>中剩下的参数来源，如果随机函数rand(0,1)≤Cr，参数从/>中获得；随机函数rand(0,1)＞Cr，从目标个体/>中获得；所述rand(0,1)是一个由随机数生成器均匀生成的随机数序列；Cr为交叉率；
目标个体的损失，记为/>交叉试验个体/>的损失，记为/>选择是比较/>与/>的损失大小；
其中，损失较低的个体被选择进入下一代种群，记为P+1，如公式(9)所示的下一代个体选择关系选择保证了种群在迭代过程中不会出现总体损失升高的情况；
步骤C6，叶子节点生成；
叶子节点身份确认条件一：
当决策树达到预先设定的决策树最大深度D时，位于所述D层的节点作为叶子节点；
叶子节点身份确认条件二：
当节点包含的采样点数量少于预先设定的最少采样点数量δ，所述节点/>作为叶子节点；
叶子节点身份确认条件三：
当节点包含的采样点属于同一类别c时，所述节点/>作为叶子节点；
c＝0表示不是外来物；c＝1表示是外来物；
采用进化随机森林方法对像素特征得到一个二次多项式分类模型后，决策树中非叶子节点的样本被划分到左子节点或右子节点；如果任意一个节点不符合成为叶子节点的确认条件时，则继续分裂成子节点/>然后根据所述子节点/>上的像素点学习二次多项式分类模型；
如果任意一个节点符合成为叶子节点/>的确认条件时，则停止分裂，所述节点/>作为一个叶子节点；
当节点被标记为叶子节点/>时，统计节点/>上像素点的分布情况，计算每一类c的类别概率/>并将其存储在叶子节点/>上；类别概率/>的公式(10)为：
表示叶子节点上第c类采样点的数量；
类别概率为0到1之间的浮点数。
CN202110885609.1A 2021-08-03 2021-08-03 机场跑道上的小尺度fod的检测装置及检测方法 Active CN113627305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110885609.1A CN113627305B (zh) 2021-08-03 2021-08-03 机场跑道上的小尺度fod的检测装置及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110885609.1A CN113627305B (zh) 2021-08-03 2021-08-03 机场跑道上的小尺度fod的检测装置及检测方法

Publications (2)

Publication Number Publication Date
CN113627305A CN113627305A (zh) 2021-11-09
CN113627305B true CN113627305B (zh) 2023-07-18

Family

ID=78382418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110885609.1A Active CN113627305B (zh) 2021-08-03 2021-08-03 机场跑道上的小尺度fod的检测装置及检测方法

Country Status (1)

Country Link
CN (1) CN113627305B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法
CN112686172A (zh) * 2020-12-31 2021-04-20 上海微波技术研究所（中国电子科技集团公司第五十研究所） 机场跑道异物检测方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI676940B (zh) * 2018-08-29 2019-11-11 國立交通大學 以機械學習為基礎之最佳化預測模型的建立與預測結果的取得系統及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法
CN112686172A (zh) * 2020-12-31 2021-04-20 上海微波技术研究所（中国电子科技集团公司第五十研究所） 机场跑道异物检测方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FOD和SVMDA-RF的土壤有机质含量高光谱预测;张智韬;劳聪聪;王海峰;ARNON Karnieli;陈俊英;李宇;;农业机械学报(第01期);全文 *

Also Published As

Publication number Publication date
CN113627305A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
Lagrange et al. Benchmarking classification of earth-observation data: From learning explicit features to convolutional networks
CN108510467B (zh) 基于深度可变形卷积神经网络的sar图像目标识别方法
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN112101221B (zh) 一种用于交通信号灯实时检测与识别的方法
WO2018076138A1 (zh) 基于大尺度高分辨率高光谱图像的目标探测方法及装置
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN114266891A (zh) 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN112308826A (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN113326846B (zh) 一种基于机器视觉的桥梁表观病害快速检测方法
CN113111703A (zh) 基于多种卷积神经网络融合的机场道面病害异物检测方法
Quang et al. An efficient framework for pixel-wise building segmentation from aerial images
CN107688830A (zh) 一种用于案件串并的现勘视觉信息关联图层生成方法
Zheng et al. Building recognition of UAV remote sensing images by deep learning
Alvarado-Robles et al. An approach for shadow detection in aerial images based on multi-channel statistics
CN115272876A (zh) 一种基于深度学习的遥感图像船舶目标检测方法
CN114973116A (zh) 一种自注意力特征嵌入夜间机场跑道异物检测方法与系统
CN113627305B (zh) 机场跑道上的小尺度fod的检测装置及检测方法
Xia et al. A shadow detection method for remote sensing images using affinity propagation algorithm
Prasad et al. Unsupervised resolution independent based natural plant leaf disease segmentation approach for mobile devices
Li et al. Semantic segmentation for high-resolution aerial imagery using multi-skip network and Markov random fields
CN114627493A (zh) 一种基于步态特征的身份识别方法及系统
CN113658089A (zh) 一种基于深度相机的双数据流融合物体识别方法
Mackeown et al. Contextual image labelling with a neural network
Nair et al. Intrusion detection on oil pipeline right of way using monogenic signal representation
CN114429605B (zh) 一种广域环境下动态随机目标的识别、定位与跟踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant