CN114821484A - 机场跑道fod图像检测方法、系统和存储介质 - Google Patents

Abstract

本申请公开了一种机场跑道FOD图像检测方法、系统和存储介质，涉及图像识别技术，包括以下步骤：获取机场跑道图像；对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；将融合后的异物区域进行裁剪与尺寸调整，得到待分类的图像块；将待分类图像块输入到训练好的异物分类模型中，得到分类结果。通过实施本申请可以准确识别图像中的小目标和大目标，降低识别的错误率，提高系统的异物检出率，降低虚警率。

Description

机场跑道FOD图像检测方法、系统和存储介质

技术领域

本申请涉及图像识别技术，特别是一种机场跑道FOD图像检测方法、系统和存储介质。

背景技术

机场跑道异物（FOD）包括但不限于金属器件（螺钉、扳手等）、塑料片、玻璃片、碎石、动植物，这些机场跑道外来物品会损坏飞行器，造成重大安全事故，直接影响着航班的安全，因此FOD检测技术的研究与系统的开发具有重要意义。

目前常见的FOD检测系统可分为3大类，基于图像的FOD检测系统，基于雷达的FOD检测系统，融合图像和雷达的FOD检测系统。其中，依赖图像的FOD检测系统一般基于相机获得图像进行处理，存在以下难点：（1）自然环境条件复杂，存在雨天、阴天、黄昏、强光、大风等情况；（2）机场跑道路面干扰大，存在道路裂缝、道路标识线、边灯等干扰；（3）FOD异物类别繁多、异物状态随机，存在大尺寸、小尺寸异物。针对上述难点，基于传统图像匹配与特征差值法难以适应于多变的自然环境，且准确率低。神经网络提取的卷积特征具有丰富的浅层边缘信息以及高级类别等语义信息，相较于传统算法泛化性高；但是机场跑道地面存在许多干扰直接基于目标检测网络容易产生错检。其次，实际使用中相机采集图像分辨率远高于模通用目标检测模型输入尺寸，如果直接以大尺度图像输入会造成显存爆炸，如果插值调整为模型输入尺度，会大大降低小目标检出率。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种机场跑道FOD图像检测方法、系统和存储介质，以增加小目标的检出率。

一方面，本申请实施例提供了一种机场跑道FOD图像检测方法，包括以下步骤：

获取机场跑道图像；

对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；

将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；

根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；

将未被融合的子图和融合图像进行裁剪和尺寸调整，得到待分类图像；

将待分类图像输入到训练好的异物分类模型中，得到分类结果。

在一些实施例中，其中，所述异物检测模型通过以下方式得到：

构建异物检测数据集，所述数据集中包括多个机场跑道图像，所述图像中的机场跑道上随机设置有若干个异物；

其中，所述机场跑道图像结合以下方式获得：

方式一、拍摄机场跑道上设置有异物的照片；

方式二、在机场跑道上没有异物的照片上随机加入异物；

方式三，对方式一和方式二中的图像进行亮度调整、裁剪、平移、旋转或者增加噪声。

结合以下方式获得方式一和方式二在一些实施例中，所述异物检测模型采用CSPDarkNet53模块作为特征提取网络，采用SPP模块作为特征处理模块，采用PANet模块以融合图像语义特征和浅层特征，采用CIoU损失作为回归损失函数，采用交叉熵损失函数作为分类损失函数。

在一些实施例中，所述异物分类模型依次包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块，其中，所述第一卷积模块、第二卷积模块、第三卷积模块的下采样倍率均为2，第四卷积模块的下采样倍率为1，输入尺寸为64*64，输出特征图尺寸为8*8。

在一些实施例中，异物分类模型通过以下方式得到：

收集包括金属块图片、螺钉图片、扳手图片、高尔夫图片、轮胎皮图片、水瓶图片、鸟图片、其余杂物图片和干扰背景图片作为训练数据集，其中，所述训练数据集中的图片是从机场跑道图像中裁剪得到，所述干扰背景图片中包含标识线、边灯和裂缝；

将训练数据集中的图片调整为64*64大小的图像；

通过训练数据集对初始化的异物分类模型进行训练，得到训练好的异物分类模型。

在一些实施例中，所述根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像，具体是：

根据多个待识别异物的全局位置，将两个交集和并集面积比大于0.1的异物区域进行融合，得到融合图像。

在一些实施例中，将融合后的异物区域进行裁剪和尺寸调整，得到待分类的图像块，具体是：

在裁剪异物区域时，均分别向四周扩展若干个像素点后进行裁剪，并将裁剪区域调整图像尺寸为64*64。

在一些实施例中，所述异物分类模型，包括多种分类，每种分类对应不同的报警级别。

另一方面，本申请实施例提供了一种机场跑道FOD图像检测系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的机场跑道FOD图像检测方法。

另一方面，本申请实施例提供了一种存储介质，其存储有程序，所述程序被执行时实现所述的机场跑道FOD图像检测方法。

本申请实施例通过对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；然后将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；并将子图位置信息转换为图像中的全局位置信息；接着根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；通过这一方式，一方面可以通过重叠滑窗裁剪来适配模型的输入尺寸，可以处理大分辨率相机所拍摄的图像，提高小目标检出率；同时针对重叠滑窗可能在不同的窗口检测到相同物品的问题，本方案会根据检测到异物的位置判断两者的重合度，从而对重合度较高的进行融合，降低误报；同时，系统采用输入多尺度提高大目标检出率；此外，本方案基于二次异物确认，对检测的异物区域进行分类，剔除背景类，降低了系统的虚警率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种机场跑道FOD图像检测方法；

图2是本申请实施例提供的一种FOD异物检测模型的模型结构示意图；

图3是本申请实施例提供的一种改进型的ResNet18模型结构示意图；

图4是本申请实施例提供的一种边框交并比示意图；

图5是FOD异物检测流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

参照图1，本实施例公开了一种机场跑道FOD图像检测方法，包括以下步骤：

S1、获取机场跑道图像。

具体地，可以通过高清摄像机（如4K分辨率的摄像机），该摄像机可以实时拍摄机场跑道。

S2、对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图。

具体地，在本实施例中，重叠滑窗裁剪处理是指，按照设定的尺寸窗口在图像上按照设定的方式进行滑动，从而裁剪出子图，而滑动时，会和周边窗口重叠。这样的处理方式可以避免小目标被分割成更小的目标从而难以检测，又可以对大尺寸图像进行处理。在本实施例中，还可以配合金字塔方式进行处理，金字塔方式是指按照一定比例压缩机场跑道图像，从而形成不同尺寸的图像，然后按照一定尺寸的滑窗对各图像进行处理，这样的方式有助于识别大目标。采用金字塔方式进行处理时，可以对各尺寸图像对应的识别结果进行融合处理。

S3、将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置。在本实施例中，异物检测模型的任务是检测图像中是否存在异物，该模型学习的特征是环境中是否存在异物，而不对异物是什么进行分类。

在一些实施例中，所述异物检测模型可以基于YOLOv4模型，采用CSPDarkNet53模块作为特征提取网络，相比于YOLOv3大大减少了计算量。采用SPP模块作为特征处理模块，其利用不同步长的池化层对特征卷积网络提取的特征进行筛选与融合，使得输出特征具有不同的感受野信息。采用PANet模块以融合图像语义特征和浅层特征，获得丰富的图像特征。检测头（分类与边框回归）共用卷积层进行信息提取，输出预测信息（异物坐标、异物置信度和异物类别概率）。考虑边框回归更注重异物边缘信息，与分类任务注重点有所不同，因此将检测头（回归和分类）分别利用不同的卷积层进行特征提取，如图2所示。回归损失函数采用CIoU损失，分类损失采用交叉熵损失函数。模型训练利用了权重迁移策略，将YOLOv4在VOC数据集上训练得到的权重初始化网络，最终获得一个关注跑道地面的异物检测网络。

S4、将子图位置信息转换为整个图像的全局位置信息。

由于子图的位置是通过滑窗确定的，因此，可以转换成全局位置信息。

S5、根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像。具体地，根据多个待识别异物的全局位置，将两个交集和并集面积比大于0.1的异物区域进行融合，得到融合图像。

具体地，对实际使用中，FOD系统在扫描模式下，相机对跑道各区域进行拍照。针对小尺寸FOD异物检测，需要对相机获得的大分辨率4K图像进行预处理。即对图像进行重叠滑窗裁剪，将图像分成子图像块输入目标检测网络。重叠区域为模型输入图像尺度的15%；重叠滑窗裁剪可以避免裁剪边界处的小目标分割成两部分，从而提高检出率。同时，对重叠滑窗裁剪的异物检测结果进行融合的后处理，避免同一个异物目标产生多个边界框。融合策略采用两两异物框的交并比值（两个边界框交集和并集面积之比，如图4所示，交集即为虚线包围的区域，并集即实线包围的区域）大于预先设定的阈值，即融合两个框，阈值经验值设定为0.1。同时，为了提高大目标检出概率，对相机获得的大分辨率图像进行预处理，即图像插值缩减为原图的1/2，再次进行上述滑窗裁剪操作、模型预测与后处理。S6、将融合后的异物区域进行裁剪与尺寸调整，得到待分类的图像块。将步骤5获得的疑似异物区域在原图进行裁剪，为了更好地突出异物提高识别率，在裁剪时往四周扩展5个像素点的背景区域。将裁剪的网络调整成固定尺寸大小64*64，并进行归一化与标准化处理后输入分类网络。可见在裁剪将未被融合的子图和融合图像时，均分别向四周扩展若干个像素点后进行裁剪，以次来突出前景异物目标，从而提高识别率。

S7、将待分类图像块输入到训练好的异物分类模型中，得到分类结果。

参照图3,所述异物分类模型依次包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块，其中，所述第一卷积模块、第二卷积模块、第三卷积模块的下采样倍率均为2，第四卷积模块的下采样倍率为1，输入尺寸为64*64，输出特征图尺寸为8*8。

在本实施例中，前期构建与训练FOD异物分类模型。考虑残差结构的分类模型，训练过程中能够避免梯度消失、梯度爆炸的问题；同时结合实际应用输入图像块尺寸小的特点，选择了ResNet18作为基础模型。为了进一步减少模型参数量和计算量，同时保留了更多的空间信息；在实际使用中，对ResNet18模型进行剪枝，裁剪掉第五个卷积模块，并且将第四个卷积模块步进从2修改为1，最终模型网络参数层数量从18层降为14层，下采样分辨率从32倍减少为8倍，当输入尺寸为64*64时，输出特征图尺度为8*8。利用构建好的分类数据集进行模型训练，训练过程中，模型损失函数采用交叉损失熵，且采用在ImageNet数据集预先训练好的权重进行模型初始化。通过图5可以从图像变化的过程来看待本方案的处理过程。

根据分类网络预测概率判定所述分类，如果属于背景干扰类，直接将该疑似异物过滤，降低虚警率；将其余类别信息输出显示到显控，由机场工作人员进行相关处理。例如螺钉、金属等异物等级高的就需要工作人员立即处理。可见所述异物分类模型，包括多种分类，每种分类对应不同的报警级别。

基于上述实施例可知，本发明级联目标检测网络和分类网络进行机场跑道FOD异物检测，系统基于二次异物确认，降低了系统的虚警率；其次，目标检测网络针对实际使用大分辨图像采用了重叠滑窗裁剪、输入图像多尺度预处理分别提高了小目标和大目标的检出率；同时，针对分类输入图像小，对ResNet18进行剪枝，并降低下采样倍率，减少了参数量与计算量，且保留了更多空间特征信息。

在一些实施例中，其中，所述异物检测模型通过以下方式得到：

构建异物检测数据集，所述数据集中包括多个机场跑道图像，所述图像中的机场跑道上随机设置有若干个异物；

其中，所述机场跑道图像结合以下方式获得：

方式一、拍摄机场跑道上设置有异物的照片；

方式二、在机场跑道上没有异物的照片上随机加入异物；

方式三，对方式一和方式二中的图像进行亮度调整、裁剪、平移、旋转或者增加噪声。

具体地，前期构建FOD异物检测数据集。在不同光照（清晨、中午、傍晚等）、不同气候（阴天、雨天等）自条件下，在机场跑道设备前的不同方位不同距离随机置放一些异物（不同尺寸的金属块、螺钉、扳手、水瓶、钥匙、石头、镜片、玻璃等）进行图像采集，作为原始数据集。针对原始数据集进行裁剪，匹配目标检测网络输入尺寸，并进行人工标注，类别标签设置为FOD，获得目标检测数据集A。为了减少人工标注时间成本，同时为了提高模型泛化能力，构建了模拟数据集。构建模拟数据集，首先需要采集不同光照（清晨、中午、傍晚等）、不同气候（阴天、雨天等）等条件下的不包含任何异物目标的机场跑道背景图，作为背景数据集；同时对异物目标进行分割并随机叠加在背景图，构成目标检测数据集B。除此之外，为了使得构建的数据集接近真实数据集分布情况，对目标检测数据集A和B进行样本扩充（亮度调整、旋转、裁剪、平移、增加噪声），得到最终机场跑道异物检测样本集。

在一些实施例中，异物分类模型通过以下方式得到：

收集包括金属块图片、螺钉图片、扳手图片、高尔夫图片、轮胎皮图片、水瓶图片、鸟图片、其余杂物图片和干扰背景图片作为训练数据集，其中，所述训练数据集中的图片是从机场跑道图像中裁剪得到，所述干扰背景图片中包含标识线、边灯和裂缝；

将训练数据集中的图片调整为64*64大小的图像；

通过训练数据集对初始化的异物分类模型进行训练，得到训练好的异物分类模型。

具体地，前期构建FOD异物分类数据集。首先收集包含道路裂缝、道路标识线、边灯等干扰的背景图片，对感兴趣容易导致误检测的干扰区域进行裁剪，并基于插值算法调整感兴趣区域大小为64*64作为背景类；其次，收集金属块、螺钉、扳手、高尔夫、轮胎皮、水瓶、鸟7类图片，进行裁剪并调整为64*64大小的图像块，作为特定的7类异物目标；其余再收集一些食品袋、瓶盖、线缆、圆筒、套筒、树枝等异物图片裁剪并调整为64*64大小的图像块作为第8类异物目标。因此，FOD异物分类数据集是一个包含9个类别的数据集。

另一方面，本申请实施例提供了一种机场跑道FOD图像检测系统，包括：存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的机场跑道FOD图像检测方法。

另一方面，本申请实施例提供了一种存储介质，其存储有程序，所述程序被执行时实现所述的机场跑道FOD图像检测方法。

本申请实施例通过对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；然后将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；并将子图位置信息转换为图像中的全局位置信息；接着根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；通过这一方式，一方面可以通过重叠滑窗裁剪来适配模型的输入尺寸，可以处理大分辨率相机所拍摄的图像，提高小目标检出率；同时针对重叠滑窗可能在不同的窗口检测到相同物品的问题，本方案会根据检测到异物的位置判断两者的重合度，从而对重合度较高的进行融合，降低误报；同时，系统采用输入多尺度提高大目标检出率；此外，本方案基于二次异物确认，对检测的异物区域进行分类，剔除背景类，降低了系统的虚警率。

在本申请中所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种机场跑道FOD图像检测方法，其特征在于，包括以下步骤：

获取机场跑道图像；

对所述机场跑道进行重叠滑窗裁剪处理，得到裁剪后的多个子图；

将多个所述子图输入训练好的异物检测模型中，得到待识别异物的子图位置；

将子图位置转换为整个图像的全局位置；

根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像；

将融合后的异物区域进行裁剪与尺寸调整，得到待分类的图像块；

将待分类图像块输入到训练好的异物分类模型中，得到分类结果。

2.根据权利要求1所述的机场跑道FOD图像检测方法，其特征在于，其中，所述异物检测模型通过以下方式得到：

构建异物检测数据集，所述数据集中包括多个机场跑道图像，所述图像中的机场跑道上随机设置有若干个异物；

其中，所述机场跑道图像结合以下方式获得：

方式一、拍摄机场跑道上设置有异物的照片；

方式二、在机场跑道上没有异物的照片上随机加入异物；

方式三，对方式一和方式二中的图像进行亮度调整、裁剪、平移、旋转或者增加噪声。

3.根据权利要求2所述的机场跑道FOD图像检测方法，其特征在于，所述异物检测模型采用CSPDarkNet53模块作为特征提取网络，采用SPP模块作为特征处理模块，采用PANet模块以融合图像语义特征和浅层特征，采用CIoU损失作为回归损失函数，采用交叉熵损失函数作为分类损失函数。

4.根据权利要求1所述的机场跑道FOD图像检测方法，其特征在于，所述异物分类模型依次包括第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块，其中，所述第一卷积模块、第二卷积模块、第三卷积模块的下采样倍率均为2，第四卷积模块的下采样倍率为1，输入尺寸为64*64，输出特征图尺寸为8*8。

5.根据权利要求1所述的机场跑道FOD图像检测方法，其特征在于，异物分类模型通过以下方式得到：

收集包括金属块图片、螺钉图片、扳手图片、高尔夫图片、轮胎皮图片、水瓶图片、鸟图片、其余杂物图片和干扰背景图片作为训练数据集，其中，所述训练数据集中的图片是从机场跑道图像中裁剪得到，所述干扰背景图片中包含标识线、边灯和裂缝；

将训练数据集中的图片调整为64*64大小的图像；

通过训练数据集对初始化的异物分类模型进行训练，得到训练好的异物分类模型。

6.根据权利要求1所述的机场跑道FOD图像检测方法，其特征在于，所述根据待识别异物的全局位置将重合度大于阈值的异物区域进行融合，得到融合图像，具体是：根据多个待识别异物的全局位置，将两个交集和并集面积比大于0.1的异物区域进行融合，得到融合图像。

7.根据权利要求1所述的机场跑道FOD图像检测方法，其特征在于，将融合后的异物区域进行裁剪和尺寸调整，得到待分类的图像块，具体是：在裁剪异物区域时，均分别向四周扩展若干个像素点后进行裁剪，并将裁剪区域调整图像尺寸为64*64。

8.根据权利要求1所述的机场跑道FOD图像检测方法，其特征在于，所述异物分类模型，包括多种分类，每种分类对应不同的报警级别。

9.一种机场跑道FOD图像检测系统，其特征在于，包括：存储器，用于存储程序；处理器，用于加载所述程序以执行如权利要求1-8任一项所述的机场跑道FOD图像检测方法。

10.一种存储介质，其特征在于，其存储有程序，所述程序被执行时实现如权利要求1-8任一项所述的机场跑道FOD图像检测方法。

Images