CN112285706A - 一种fod探测方法、装置及系统 - Google Patents
一种fod探测方法、装置及系统 Download PDFInfo
- Publication number
- CN112285706A CN112285706A CN202011299318.6A CN202011299318A CN112285706A CN 112285706 A CN112285706 A CN 112285706A CN 202011299318 A CN202011299318 A CN 202011299318A CN 112285706 A CN112285706 A CN 112285706A
- Authority
- CN
- China
- Prior art keywords
- unit
- detection
- foreign matter
- foreign
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000001931 thermography Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 238000013475 authorization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/885—Radar or analogous systems specially adapted for specific applications for ground probing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/005—Prospecting or detecting by optical means operating with millimetre waves, e.g. measuring the black losey radiation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Electromagnetism (AREA)
- Geophysics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了本发明提供了一种FOD探测方法、装置和系统,该探测方法首先获取异物的位置信息,然后根据异物的位置信息获取异物的抓拍图像,再利用训练好的目标检测网络对异物的抓拍图像进行识别,从而获得异物识别结果。本发明利用训练好的目标检测网络对异物进行识别,可以识别微小的异物,提升异物判断的准确率,降低机场异物的虚警率。
Description
技术领域
本发明属于异物探测技术领域,具体涉及一种FOD探测方法、装置及系统。
背景技术
机场跑道异物检测(Foreign Object Debris,FOD)指的是对机场外来物进行检测;其中,机场外来物可以理解为:在跑道、滑行道、停机坪地面上可能会损伤航空器、设备或者威胁机场工作人员和乘客生命安全的外来物体。因此,针对繁忙的民用机场,FOD实时监测的需求十分迫切。
常见的对机场跑道异物的检测技术主要包含:光学视频检测技术和雷达检测技术。其中,光学视频检测技术主要采用图像采集和图像处理技术,通过在机场的设定区域定点设置高分辨率的图像采集设备(例如:摄像设备等)以实现对机场跑道上是否出现异物进行实时检测,同时采用图像处理技术对图像采集设备采集到的数据进行分析以确定机场跑道中出现的异物的位置;雷达检测技术主要采用无线电技术,通过将雷达传感器定点安装于机场的设定区域,通过发射和接收电磁波来分析确定机场跑道中出现异物的位置。
然而,光学视频检测技术易受到天气以及光照的影响,不易发现与机场跑道颜色相近的异物,且夜间需采用红外补光设备补充光源,也就是说,在大气能见度较低的情况下,利用光学视频检测技术检测机场跑道中出现异物的准确度较低。雷达检测技术具有全天候、全天时工作的能力,在飞机起降期间,无论出现雨、雪、雾、霾等天气条件下,雷达检测技术均具有探测能力,但是雷达检测技术的目标有许多种类,极易造成虚警。
发明内容
为了解决现有技术存在的上述问题之一,本发明目的在于提供一种FOD探测方法。
本发明所采用的技术方案为:一种FOD探测方法,包括以下步骤:
S1,获取异物的位置信息;
S2,根据异物的位置信息获取异物的抓拍图像;
S3,利用训练好的目标检测网络对异物的抓拍图像进行识别。
作为可选方式,在S3中,所述目标检测网络为YOLO v3网络,所述目标检测网络的训练过程包括以下步骤:
S301,获取异物的图像并组成训练数据集;
S302,对训练数据集中每个异物进行标注,并生成标注文件,该标注文件包括标注框的中心坐标点和标注框的宽高;
S303,基于所述标注框的宽高,对所述训练数据集进行聚类,获取YOLO v3网络三种输出尺度的预设框;
S304,利用预设框对训练数据集中的异物进行检测,通过损失函数和梯度下降训练参数优化YOLO v3网络。
作为可选方式,所述损失函数的计算公式为:
其中,N×N表示输出特征图被划分成N行N列的网格,K表示每个网格中预测的边界框数,c表示总类别数,tx表示预测框的中心横坐标,ty表示预测框的中心纵坐标,tw表示预测框的宽度,th表示预测框的高度,t′x表示实际框的中心横坐标,t′y表示实际框的中心纵坐标,t′w表示实际框的宽度,t′h表示实际框的高度;ci表示第i个预测框的置信度,选中的预测框取值为1,未选中的预测框取值为0;c′i表示第i个实际框的置信度,选中的实际框取值为1,未选中的实际框取值为0;pi(c)表示第i个预测框的预测类别概率,p′i(c)表示第i个实际框的实际类别概率;λnoobj表示第一坐标误差修正参数,λcoord表示二坐标误差修正参数;表示第i个网格存在目标,且该网格预测的第j个边界框负责预测该目标,表示第i个网格预测的第j个边界框中不存在物体,表示物体是否出现在第i个网格中。
作为可选方式,在S1中,获取异物的位置信息包括:利用雷达探测设备对检测区域进行周期性扫描得到异物的雷达扫描数据,基于所述雷达扫描数据获得异物雷达图像、异物回波幅度值和异物坐标位置。
作为可选方式,在S2中,根据异物的位置信息获取异物的抓拍图像包括:在光线亮时,利用可见光成像单元获取异物的抓拍图像;在光线暗或者雨雾天气时,利用红外热成像单元获取异物的抓拍图像;若单一采用所述可见光成像单元和红外热成像单元的抓拍图像无法获得异物的识别结果,则采用图像融合单元对可见光成像单元的抓拍图像和红外热成像单元的抓拍图像进行融合处理得到异物的识别结果。
作为可选方式,还包括S4,获取异物的特征信息并利用异物的特征信息对异物进行初步识别,然后根据抓拍图像的识别结果进行二次分析判断,获得异物的判定结果;根据异物的判定结果,发出不同威胁等级的告警信息。
本发明的另一个目的在于提供一种FOD探测装置,包括控制模块和探测模块,所述探测模块包括雷达探测设备、光电探测设备和旋转驱动装置,所述控制模块分别与雷达探测设备、光电探测设备和旋转驱动装置电连接,所述雷达探测设备、光电探测设备均与旋转驱动装置连接,所述雷达探测设备用于获取异物的位置信息并发送至控制模块,控制模块控制旋转驱动装置运行使光电探测设备转动至异物的拍摄范围,并控制光电探测设备对异物进行抓拍。
作为可选方式,所述光电探测设备包括可见光成像单元和红外热成像单元,所述控制模块设有图像融合单元,所述图像融合单元分别与可见光成像单元和红外热成像单元连接,所述图像融合单元用于对可见光成像单元的抓拍图像和红外热成像单元的抓拍图像进行融合处理得到异物的识别结果。
作为可选方式,所述雷达探测设备包括频率源单元、上变频及中频单元、射频收发前端、天线单元,所述天线单元与射频收发前端连接,射频收发前端与上变频及中频单元连接,上变频及中频单元与频率源单元连接,控制模块分别与频率源单元和上变频及中频单元连接。
所述控制模块包括控制中心,所述控制中心连接有FPGA单元,FPGA单元连接有A/D采样单元,所述A/D采样单元分别与频率源单元和上变频及中频单元连接。
作为可选方式,所述控制中心利用训练好的目标检测网络对异物的抓拍图像进行识别。
作为可选方式,所述目标检测网络为YOLO v3网络。
作为可选方式,所述控制中心连接有告警单元,控制中心根据异物的识别结果,控制告警单元发出不同威胁等级的告警信息。
作为可选方式,所述控制中心连接有校准单元和自检单元,所述校准单元用于对雷达探测设备的坐标与时序进行校准,所述自检单元用于检测雷达探测设备和光电探测设备是否正常。
作为可选方式,所述旋转驱动装置包括伺服转台,所述雷达探测设备和光电探测设备均安装在伺服转台上。
本发明的另一个目的在于提供一种FOD探测系统,包括上述的FOD探测装置,所述控制模块连接有多个探测模块,且各个探测模块交错布设在检测区域的两侧。
本发明的有益效果为:
本发明提供了一种FOD探测方法和装置,首先获取异物的位置信息,然后根据异物的位置信息获取异物的抓拍图像,再利用训练好的目标检测网络对异物的抓拍图像进行识别,从而获得异物识别结果。本发明利用训练好的目标检测网络对异物进行识别,可以识别微小的异物,提升异物判断的准确率,降低机场异物的虚警率。本发明还提供了一种FOD探测系统,多个探测模块采用稀疏配置的方式,其相互协同工作,可以完成整个跑道区域的覆盖,并周期性地对跑道区域进行异物检测,其结构设计合理、操作方便,能够有效的识别微小的异物,保障机场跑道的安全。
附图说明
图1是本发明提供的一种FOD探测装置的结构示意图;
图2是本发明提供的一种FOD探测装置的控制框图;
图3是本发明提供的一种FOD探测装置中光电探测设备的工作流程图;
图4是本发明提供的一种FOD探测系统的控制框图;
图5是本发明提供的一种FOD探测系统的工作流程图;
图中:1-雷达探测设备;2-可见光成像单元;3-红外热成像单元;4-伺服转台。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中,需要说明的是,指示方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,或者是本领域技术人员惯常理解的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本发明实施例的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接连接,也可以通过中间媒介间接连接。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
在机场跑道的异物检测过程中,光学视频检测技术易受到天气以及光照的影响,不易发现与机场跑道颜色相近的异物,且夜间需采用红外补光设备补充光源,造成光学视频检测技术检测机场跑道中出现异物的准确度较低。雷达探测技术具有全天候、全天时工作的能力,由于雷达探测的目标有许多种类,极易造成虚警。
为了解决该问题,更加准确的判断识别跑道的异物,本实施例提供了一种FOD探测方法,包括以下步骤:
S1,获取异物的位置信息,其包括:利用雷达探测设备1对检测区域进行周期性扫描得到异物的雷达扫描数据,基于所述雷达扫描数据获得异物雷达图像、异物回波幅度值和异物坐标位置。雷达探测设备1采用毫米波雷达,毫米波雷达安装在伺服转台4,实现对跑道的检测区域进行周期性扫描。
S2,根据异物的位置信息获取异物的抓拍图像,包括:在光线亮时,利用可见光成像单元2获取异物的抓拍图像;在光线暗或者雨雾天气时,利用红外热成像单元3获取异物的抓拍图像。在毫米波雷达探测到异物后,采用可见光成像单元2或者红外热成像单元3对异物进行抓拍取证。
S3,利用训练好的目标检测网络对异物的抓拍图像进行识别,其中,如果单一采用所述可见光成像单元2和红外热成像单元3的抓拍图像无法获得异物的识别结果,则采用图像融合单元对可见光成像单元2的抓拍图像和红外热成像单元3的抓拍图像进行融合处理得到异物的识别结果。
优选地,所述目标检测网络为YOLO v3网络,所述目标检测网络的训练过程包括以下步骤:
S301,获取异物的图像并组成训练数据集;
S302,对训练数据集中每个异物进行标注,并生成标注文件,该标注文件包括标注框的中心坐标点和标注框的宽高;
S303,基于所述标注框的宽高,对所述训练数据集进行聚类,获取YOLO v3网络三种输出尺度的预设框;
S304,利用预设框对训练数据集中的异物进行检测,通过损失函数和梯度下降训练参数优化YOLO v3网络。
YOLO V3具有一物多类、精确检测小目标、速度比较快等特点,YOLO V3加深了网络结构,增强了特征抽取能力。通过引入了FPN结构,增强了小目标检测能力。并且修改了lossfunction,增加了目标细分类的功能。相比YOLO V2,YOLO V3采用更深的网络结构,YOLO V3引入残差网络结构,使用53层的darknet53,特征提取能力更强。BatchNormalization层,降低过拟合,加速收敛Res层,残差结构提高特征抽取能力,防止梯度消失。
YOLO V3具有一物多类的能力,它用单标签多分类的softmax层换成用于多标签多分类的逻辑回归层,可以对目标多标签细分类。由于使用Darknet作为基本特征提取网络,Darknet53借鉴了残差网络设置了在部分模块层之间设置了跳连接,帮助信息和梯度在网络中传递。在YOLO v3中,由于只有卷积层通过调节卷积步长控制输出特征图的尺寸,所以对于输入图片尺寸没有特别限制。以256x256的输入图片作为样例,考虑到图片中待检测物体形状和大小差异巨大,YOLO v3借鉴了金字塔特征图思想,总共输出3种不同尺寸的特征图,使用小尺寸特征图检测较大尺寸物体,使用大尺寸特征图检测较小尺寸物体。三种特征图分别下采样32倍、16倍和8倍。原始图片经过Darknet后,生成32倍下采样的特征图,随后32倍下采样的特征图经过上采样,与Darknet中间层结果进行拼接,实现多尺度信息特征融合与特征复用,产生16倍下采样特征图,循环上述过程得到8倍下采样特征图。不同尺度特征图相互配合,获取不同尺度信息,检测不同尺寸的待检测物体。
在机器学习的训练过程中,所述损失函数的计算公式为:
其中,N×N表示输出特征图被划分成N行N列的网格,K表示每个网格中预测的边界框数,c表示总类别数,tx表示预测框的中心横坐标,ty表示预测框的中心纵坐标,tw表示预测框的宽度,th表示预测框的高度,t′x表示实际框的中心横坐标,t′y表示实际框的中心纵坐标,t′w表示实际框的宽度,t′h表示实际框的高度;ci表示第i个预测框的置信度,选中的预测框取值为1,未选中的预测框取值为0;c′i表示第i个实际框的置信度,选中的实际框取值为1,未选中的实际框取值为0;pi(c)表示第i个预测框的预测类别概率,p′i(c)表示第i个实际框的实际类别概率;λnoobj表示第一坐标误差修正参数,λcoord表示二坐标误差修正参数;表示第i个网格存在目标,且该网格预测的第j个边界框负责预测该目标,表示第i个网格预测的第j个边界框中不存在物体,表示物体是否出现在第i个网格中。其中,前两项表示预测的矩形框中心点坐标和长宽值与标签中的结果,采用均方误差的形式。后三项表示使用交叉熵计算预测框的置信度和物体类别概率。模型训练过程中,通过布设机场的探测器采集的数量巨大的照片可进一步根据新的数据进行模型的微调。
YOLO V3之所以能够对小目标很好地检测,是因为使用了残差网络结构的多尺度预测。在FOD探测装置的场内服务器端部署基于YOLO V3的小目标智能识别算法,可以提升判断的准确率,降低机场异物的虚警率。
S4,利用异物的特征信息对异物进行初步识别,然后根据抓拍图像的识别结果进行二次分析判断,获得异物的判定结果;根据异物的判定结果,发出不同威胁等级的告警信息,以辅助工作人员做出决策。
如图1-图3所示,本实施例还提供了一种FOD探测装置,采用上述的FOD探测方法,FOD探测装置包括控制模块和探测模块,所述探测模块包括雷达探测设备1、光电探测设备和旋转驱动装置,所述控制模块分别与雷达探测设备1、光电探测设备和旋转驱动装置电连接,所述雷达探测设备1、光电探测设备均与旋转驱动装置连接,由旋转驱动装置驱动雷达探测设备1和光电探测设备转动,使雷达探测设备1能够对检测区域进行周期性扫描得到异物的雷达扫描数据,而且能够使光电探测设备对异物进行抓拍。所述旋转驱动装置包括伺服转台4,所述雷达探测设备1和光电探测设备均安装在伺服转台4上。所述雷达探测设备1用于获取异物的特征信息和位置信息并发送至控制模块,控制模块控制旋转驱动装置运行使光电探测设备转动至异物的拍摄范围,并控制光电探测设备对异物进行抓拍。控制模块根据异物的抓拍图形进行识别处理,得到异物的识别结果。
雷达探测设备1每完成一个扫描周期,完成指定检测区域的扫描检测,依据雷达扫描数据,可解算出异物回波幅度值、异物坐标位置等信息。考虑目标异物的尺寸、分辨率、设备体积、大气窗口等条件,采用W波段电子器件进行雷达探测设计。所述雷达探测设备1可以毫米波雷达,其采用包括频率源单元、上变频及中频单元、射频收发前端和天线单元,天线单元包括W波段发射和接收天线,W波段发射和接收天线设有W波段天线罩。所述天线单元与射频收发前端连接,射频收发前端与上变频及中频单元连接,上变频及中频单元与频率源单元连接,控制模块分别与频率源单元和上变频及中频单元连接。
为提高集成度及可维修性,雷达探测设备1采用模块化的设计,射频收发前端、上变频及中频单元单独封装为一个模块,模块之间利用高性能连接器对接,可以方便拆卸,便于后期调测和维保。
雷达探测设备1的功能有:
①辐射信号覆盖检测区域,保证关注道面区域处于监视范围内;
②连续扫描覆盖区域,采集检测区域信息;
③存储并传输采集数据;
④与控制模块联网通信;
⑤检测异物位置信息;
⑥系统自检与标校。
毫米波雷达的参数设计如表1所示:
表1毫米波雷达参数
所述光电探测设备包括可见光成像单元2和红外热成像单元3,所述可见光成像单元2配设有补光灯,遇到雨、雪、雾等阴天恶劣天气或者黑夜光线较暗时,自带的补光灯能对可见光成像单元2进行光照度补偿。所述控制模块设有图像融合单元,所述图像融合单元分别与可见光成像单元2和红外热成像单元3连接,所述图像融合单元用于对可见光成像单元2的抓拍图像和红外热成像单元3的抓拍图像进行融合处理得到异物的识别结果。
为了能在各种光照和天气条件下检测和识别异物,光电探测设备具备可见光成像单元2和红外热成像单元3两套独立的成像模块,白天使用可见光成像单元2识别,黑夜使用红外图像信息识别,当单一可见光成像单元2和红外热成像单元3的图像无法给出识别结果时,如遇到雨雾天气时,使用图像融合单元进行融合识别。其中单一可见光成像单元2和红外热成像单元3的图像识别算法使用有监督的机器学习机制的神经网络算法,利用大量的FOD目标样本图像对识别算法进行训练,还可将在应用过程中出现的FOD目标对分类器进行再学习。图像融合单元使用决策级的融合算法,这一识别算法策略的优势是通过大量的先验信息来加快算法的识别速度。
所述控制模块包括控制中心,所述控制中心连接有FPGA单元,FPGA单元连接有A/D采样单元,所述A/D采样单元分别与频率源单元和上变频及中频单元连接。所述控制中心利用训练好的目标检测网络对异物的抓拍图像进行识别,所述目标检测网络为YOLO v3网络。YOLO V3具有一物多类、精确检测小目标、速度比较快等特点,使得FOD探测装置可以提升判断的准确率,降低机场异物的虚警率。
所述控制中心连接有校准单元和自检单元,所述校准单元用于对雷达探测设备1的坐标与时序进行校准,所述自检单元用于检测雷达探测设备1和光电探测设备是否正常。所述控制中心连接有告警单元,控制中心根据异物的识别结果,控制告警单元发出不同威胁等级的告警信息,辅助工作人员做出决策。
FOD目标的种类和大小决定其威胁程度,中国民航总局机场司民航局安全技术中心给出了常见FOD目标的威胁等级见表2,现再根据FOD目标在跑道的位置,给出系统的参考告警等级与处理策略。
表2 FOD威胁等级
FOD | 跑道中部 | 跑道终端 |
金属碎片 | 高 | 中 |
塑料碎片 | 高 | 中 |
纸质品 | 中 | 低 |
橡胶制品 | 低 | 低 |
碎石块 | 中 | 低 |
植物动物 | 低 | 低 |
安装在FOD监控中心的远程监控显示系统根据接收到的数据等FOD目标显示高中低不同威胁等级时,界面用红黄绿三种灯告警,使用不同频率声音告警。监控中心根据计算机提供的自动告警信息与建议处理措施,可以立即做出决策通知清理目标,也可调用光电探测设备提供实时画面,进一步确认后做出决策,表3是基本的告警方式。
表3 FOD告警方式
威胁级别 | 颜色告警 | 声音告警 | 措施与建议 |
高 | 红色 | 高频 | 立即关闭跑道,执行清理 |
中 | 黄色 | 中频 | 稍后关闭跑道,执行清楚 |
低 | 绿色 | 低频 | 忽略 |
如图4和图5所示,本实施例还提供了一种FOD探测系统,包括上述的FOD探测装置,所述控制模块连接有多个探测模块,且各个探测模块交错布设在检测区域的两侧,各个探测模块相互协同工作,可以完成整个跑道区域的覆盖,并周期性地对跑道区域进行异物数据采集。多个探测模块组网后与控制中心交换数据,并受控制中心控制。本发明结构设计合理、操作方便,能够有效的识别微小的异物,保障机场跑道的安全。
控制中心主要包括监控计算机服务器与控制软件,控制中心完成数据传输、信息反馈、控制信息传输、控制界面操作等工作,其具体介绍如下:
1、控制中心的功能包括:
设置检测系统运行指令;
控制多个探测模块协同工作;
雷达扫描数据的成像与反馈;
异物信息检测与反馈(包括大型异物、异物坐标、信号幅度、雷达编号、检测区域编号);
存储探测模块的工作日志,记录异物的检测信息;
与用户其他设备联网通信;
调试功能。
2、控制中心的控制软件功能包括:
授权码功能,授权人员凭授权码启动控制软件,防止非授权人员恶意操控;
按钮简单,容易理解和使用,具有“雷达系统开启”、“雷达系统关闭”、“扫描周期选择”、“调试模式”等功能;
显示雷达图像,雷达图像可动态标识异物位置;
控制光电探测设备拍照并传回数据,与雷达图像进行分析比对,并做出结果判断;
系统状态窗口,动态显示系统工作状态;
调试功能键,点击调试模式,会弹出调试模式窗口,进入调试模式需授权码,防止误操作。
3、控制中心与机场控制室的机场总控连接,通信协议为:
协议概述
(1)网络层
网络层采用:IP协议,使用目前规范的IPV4,IP地址为4字节,32位。
(2)传输层
传输层采用:采用TCP方式传输,系统软件为TCP服务器端,雷达上位机软件为TCP客户端。
(3)应用层
应用层采用:Socket方式,各类网络接口信息数据包采用Socket方式进行传输。
4、控制中心的通信流程为:
控制中心发送给机场总控的数据格式包括雷达编号、区域编号、异物信息和检测日志四种信息,机场总控在接收到数据信息后向控制中心发送反馈信息。
控制中心周期性地发送探测信息给机场总控,毫米波雷达探测过程中,若本周期探测到异物,第一个异物的坐标信息通过雷达数据信息中对应数据位传递给机场总控,若不止一个异物,则在雷达数据信息成功发送并接收到反馈后,依异物数量发送对应个数的异物坐标信息,异物坐标信息的格式如表4所示。机场总控在成功接收雷达数据信息后,发送应答信息,应答信息格式如表5所示。
表4雷达数据信息格式
表5雷达数据信息的应答信息
5、控制中心的工作流程设计:
(1)控制中心软件启动;点击“开启探测系统”控制按钮,启动检测系统;
(2)系统自检与标校,标校功能主要标校各设备坐标位置、伺服速度、时钟时序等参数;自检功能主要实现系统故障自查,若检测到故障,发出故障警告;
(3)系统通过自检后,启动探测预扫描;
(4)完成预扫描后,进入检测扫描状态;
(5)设置系统参数,扫描周期可选;若不做选择,系统将默认上次设置值;
(6)探测模块回归起始位置;
(7)01#~0N#号探测模块同时接受启动指令,同时开始扫描,扫描方向一致,如同时从左向右扫描;每完成一个扫描周期,控制中心生成一幅检测区域雷达图像,并在控制界面上显示;
(8)探测模块扫描到目标后,进行异物目标信息解算,计算出目标位置及目标雷达特征(异物回波幅度等),上报控制中心;
(9)控制中心进行数据融合,并在控制界面显示区域标识出异物位置;
(10)控制中心接收到异物坐标信息后,合并重叠区域目标,按照位置顺序编号后,将异物信息(位置、幅度大小、时间、雷达编号、区域编号等)记录,并控制光电探测设备抓拍图像;
(11)系统对抓拍图像进行智能检测和识别;进行二次分析判定,判定是典型异物后,将结果及图像数据上传至机场总控,告警后待处理;
(12)操作员通过系统管理软件显示的图像进行再次判别确认和分类,确认后,进行清理指示;
(13)关闭系统,点击“关闭系统”指令,探测模块归零位;
(14)退出系统控制软件。
本发明不局限于上述可选的实施方式,任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要求书。
Claims (10)
1.一种FOD探测方法,其特征在于,包括以下步骤:
S1,获取异物的位置信息;
S2,根据异物的位置信息获取异物的抓拍图像;
S3,利用训练好的目标检测网络对异物的抓拍图像进行识别。
2.根据权利要求1所述的FOD探测方法,其特征在于,在S3中,所述目标检测网络为YOLOv3网络,所述目标检测网络的训练过程包括以下步骤:
S301,获取异物的图像并组成训练数据集;
S302,对训练数据集中每个异物进行标注,并生成标注文件,该标注文件包括标注框的中心坐标点和标注框的宽高;
S303,基于所述标注框的宽高,对所述训练数据集进行聚类,获取YOLO v3网络三种输出尺度的预设框;
S304,利用预设框对训练数据集中的异物进行检测,通过损失函数和梯度下降训练参数优化YOLO v3网络。
3.根据权利要求2所述的FOD探测方法,其特征在于,所述损失函数的计算公式为:
其中,N×N表示输出特征图被划分成N行N列的网格,K表示每个网格中预测的边界框数,c表示总类别数,tx表示预测框的中心横坐标,ty表示预测框的中心纵坐标,tw表示预测框的宽度,th表示预测框的高度,t′x表示实际框的中心横坐标,t′y表示实际框的中心纵坐标,t′w表示实际框的宽度,t′h表示实际框的高度;ci表示第i个预测框的置信度,选中的预测框取值为1,未选中的预测框取值为0;c′i表示第i个实际框的置信度,选中的实际框取值为1,未选中的实际框取值为0;pi(c)表示第i个预测框的预测类别概率,p′i(c)表示第i个实际框的实际类别概率;λnoobj表示第一坐标误差修正参数,λcoord表示二坐标误差修正参数;表示第i个网格存在目标,且该网格预测的第j个边界框负责预测该目标,表示第i个网格预测的第j个边界框中不存在物体,表示物体是否出现在第i个网格中。
4.根据权利要求1所述的FOD探测方法,其特征在于,在S1中,获取异物的位置信息包括:利用雷达探测设备对检测区域进行周期性扫描得到异物的雷达扫描数据,基于所述雷达扫描数据获得异物雷达图像、异物回波幅度值和异物坐标位置。
5.根据权利要求1所述的FOD探测方法,其特征在于,在S2中,根据异物的位置信息获取异物的抓拍图像包括:在光线亮时,利用可见光成像单元获取异物的抓拍图像;在光线暗或者雨雾天气时,利用红外热成像单元获取异物的抓拍图像;若单一采用所述可见光成像单元和红外热成像单元的抓拍图像无法获得异物的识别结果,则采用图像融合单元对可见光成像单元的抓拍图像和红外热成像单元的抓拍图像进行融合处理得到异物的识别结果。
6.根据权利要求1所述的FOD探测方法,其特征在于,还包括S4,获取异物的特征信息并利用异物的特征信息对异物进行初步识别,然后根据抓拍图像的识别结果进行二次分析判断,获得异物的判定结果;根据异物的判定结果,发出不同威胁等级的告警信息。
7.一种FOD探测装置,其特征在于,包括控制模块和探测模块,所述探测模块包括雷达探测设备、光电探测设备和旋转驱动装置,所述控制模块分别与雷达探测设备、光电探测设备和旋转驱动装置电连接,所述雷达探测设备、光电探测设备均与旋转驱动装置连接,所述雷达探测设备用于获取异物的位置信息并发送至控制模块,控制模块控制旋转驱动装置运行使光电探测设备转动至异物的拍摄范围,并控制光电探测设备对异物进行抓拍。
8.根据权利要求7所述的FOD探测装置,其特征在于,所述光电探测设备包括可见光成像单元和红外热成像单元,所述控制模块设有图像融合单元,所述图像融合单元分别与可见光成像单元和红外热成像单元连接,所述图像融合单元用于对可见光成像单元的抓拍图像和红外热成像单元的抓拍图像进行融合处理得到异物的识别结果;所述雷达探测设备包括频率源单元、上变频及中频单元、射频收发前端、天线单元,所述天线单元与射频收发前端连接,射频收发前端与上变频及中频单元连接,上变频及中频单元与频率源单元连接,控制模块分别与频率源单元和上变频及中频单元连接,所述控制模块包括控制中心,所述控制中心连接有FPGA单元,FPGA单元连接有A/D采样单元,所述A/D采样单元分别与频率源单元和上变频及中频单元连接。
9.根据权利要求8所述的FOD探测装置,其特征在于,所述控制中心利用训练好的目标检测网络对异物的抓拍图像进行识别,所述目标检测网络为YOLOv3网络;所述控制中心连接有告警单元,控制中心根据异物的识别结果,控制告警单元发出不同威胁等级的告警信息;所述控制中心连接有校准单元和自检单元,所述校准单元用于对雷达探测设备的坐标与时序进行校准,所述自检单元用于检测雷达探测设备和光电探测设备是否正常。
10.一种FOD探测系统,其特征在于,包括权利要求7-9任一项所述的FOD探测装置,所述控制模块连接有多个探测模块,且各个探测模块交错布设在检测区域的两侧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011299318.6A CN112285706A (zh) | 2020-11-18 | 2020-11-18 | 一种fod探测方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011299318.6A CN112285706A (zh) | 2020-11-18 | 2020-11-18 | 一种fod探测方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112285706A true CN112285706A (zh) | 2021-01-29 |
Family
ID=74398351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011299318.6A Pending CN112285706A (zh) | 2020-11-18 | 2020-11-18 | 一种fod探测方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112285706A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113189590A (zh) * | 2021-03-10 | 2021-07-30 | 成都辰天信息科技有限公司 | 基于fod目标识别方法、装置及存储介质 |
CN114137511A (zh) * | 2021-11-24 | 2022-03-04 | 中国民用航空总局第二研究所 | 一种基于多源异构传感器的机场跑道异物融合探测方法 |
CN114973116A (zh) * | 2022-01-21 | 2022-08-30 | 昆明理工大学 | 一种自注意力特征嵌入夜间机场跑道异物检测方法与系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090323046A1 (en) * | 2006-07-20 | 2009-12-31 | Cyclet Electrical Engineering Pte. Ltd. | System and method to detect foreign objects on a surface |
CN102253381A (zh) * | 2011-04-20 | 2011-11-23 | 上海交通大学 | 用于机场跑道的异物自动检测系统及其检测方法 |
CN206431291U (zh) * | 2016-08-31 | 2017-08-22 | 左庆军 | 机场跑道异物检测系统 |
CN107422390A (zh) * | 2017-06-27 | 2017-12-01 | 中国人民解放军空军勤务学院 | 一种机场道面异物智能探测与清扫系统 |
CN207281281U (zh) * | 2017-10-26 | 2018-04-27 | 上海云礼信息科技有限公司 | 一种机场跑道fod异物检测设备 |
WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
CN110570454A (zh) * | 2019-07-19 | 2019-12-13 | 华瑞新智科技(北京)有限公司 | 一种检测异物入侵的方法及装置 |
CN110889324A (zh) * | 2019-10-12 | 2020-03-17 | 南京航空航天大学 | 一种基于yolo v3面向末端制导的热红外图像目标识别方法 |
CN111209822A (zh) * | 2019-12-30 | 2020-05-29 | 南京华图信息技术有限公司 | 一种热红外图像的人脸检测方法 |
CN111562576A (zh) * | 2020-05-20 | 2020-08-21 | 北京望远四象科技有限公司 | 一种机场跑道异物检测系统及方法 |
CN213581343U (zh) * | 2020-11-18 | 2021-06-29 | 北京望远四象科技有限公司 | 一种fod探测装置及系统 |
-
2020
- 2020-11-18 CN CN202011299318.6A patent/CN112285706A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090323046A1 (en) * | 2006-07-20 | 2009-12-31 | Cyclet Electrical Engineering Pte. Ltd. | System and method to detect foreign objects on a surface |
CN102253381A (zh) * | 2011-04-20 | 2011-11-23 | 上海交通大学 | 用于机场跑道的异物自动检测系统及其检测方法 |
CN206431291U (zh) * | 2016-08-31 | 2017-08-22 | 左庆军 | 机场跑道异物检测系统 |
CN107422390A (zh) * | 2017-06-27 | 2017-12-01 | 中国人民解放军空军勤务学院 | 一种机场道面异物智能探测与清扫系统 |
CN207281281U (zh) * | 2017-10-26 | 2018-04-27 | 上海云礼信息科技有限公司 | 一种机场跑道fod异物检测设备 |
WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
CN110570454A (zh) * | 2019-07-19 | 2019-12-13 | 华瑞新智科技(北京)有限公司 | 一种检测异物入侵的方法及装置 |
CN110889324A (zh) * | 2019-10-12 | 2020-03-17 | 南京航空航天大学 | 一种基于yolo v3面向末端制导的热红外图像目标识别方法 |
CN111209822A (zh) * | 2019-12-30 | 2020-05-29 | 南京华图信息技术有限公司 | 一种热红外图像的人脸检测方法 |
CN111562576A (zh) * | 2020-05-20 | 2020-08-21 | 北京望远四象科技有限公司 | 一种机场跑道异物检测系统及方法 |
CN213581343U (zh) * | 2020-11-18 | 2021-06-29 | 北京望远四象科技有限公司 | 一种fod探测装置及系统 |
Non-Patent Citations (2)
Title |
---|
李煜: "机场跑道异物检测识别算法与系统设计研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 July 2012 (2012-07-15), pages 7 - 62 * |
杨铭 等著: "一种改进的 YOLOv3-Tiny 目标检测算法", 《成都信息工程大学学报》, vol. 35, no. 5, 31 October 2020 (2020-10-31), pages 531 - 536 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113189590A (zh) * | 2021-03-10 | 2021-07-30 | 成都辰天信息科技有限公司 | 基于fod目标识别方法、装置及存储介质 |
CN114137511A (zh) * | 2021-11-24 | 2022-03-04 | 中国民用航空总局第二研究所 | 一种基于多源异构传感器的机场跑道异物融合探测方法 |
CN114137511B (zh) * | 2021-11-24 | 2023-11-14 | 中国民用航空总局第二研究所 | 一种基于多源异构传感器的机场跑道异物融合探测方法 |
CN114973116A (zh) * | 2022-01-21 | 2022-08-30 | 昆明理工大学 | 一种自注意力特征嵌入夜间机场跑道异物检测方法与系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112285706A (zh) | 一种fod探测方法、装置及系统 | |
CN111562576A (zh) | 一种机场跑道异物检测系统及方法 | |
CN108037770B (zh) | 基于人工智能的无人机输电线路巡检系统和方法 | |
CN213581343U (zh) | 一种fod探测装置及系统 | |
CN105389921B (zh) | 一种机场跑道异物的监测系统和方法 | |
CN103733234B (zh) | 用于检测飞机场中的外物、碎片或损坏的监视系统和方法 | |
CN102590882B (zh) | 机场道面异物监测系统 | |
CN107449780A (zh) | 基于无人机的水面污染物监测预警方法及系统 | |
CN102915638A (zh) | 基于监控视频的智能停车场管理系统 | |
CN109484935A (zh) | 一种电梯轿厢监控方法、装置及系统 | |
CN104599427A (zh) | 一种用于公路隧道的智能图像型火灾报警系统 | |
CN102778701A (zh) | 一种机场跑道外来物检测系统 | |
CN104394361A (zh) | 行人越界智能监控装置与检测方法 | |
CN111696390B (zh) | 智能机场跑道fod装置及其工作流程 | |
CN113985400B (zh) | 一种机场跑道外来异物监测报警系统及其方法 | |
CN113393486A (zh) | 一种异常事件监测方法、智能监测终端及系统 | |
CN113219454A (zh) | 基于毫米波雷达的防车辆和人员侵入跑道的系统及方法 | |
CN104954744A (zh) | 烟雾检测系统 | |
CN107356983A (zh) | 机场跑道异物检测系统及检测方法 | |
CN217986479U (zh) | 一种针对性驱鸟系统 | |
CN111898444A (zh) | 一种基于图像识别的飞机起落架状态判定方法 | |
CN109631860A (zh) | 基于无人机的水库生活垃圾监测方法及系统 | |
CN114875877A (zh) | 一种用于船舶过闸安全检测方法 | |
CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
CN115661965A (zh) | 一种融合自动机场的公路无人机智能巡检系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |