CN113486716A - 机场场面目标分割方法及其系统 - Google Patents

Abstract

本发明公开了一种机场场面目标分割方法及其系统，所述机场场面目标分割方法包括：S1：对机场场面监控图像进行多尺度特征提取；S2：根据所述多尺度特征和卷积层，得到位置空间注意力模型图；S3：对所述空间注意力模型图进行解码操作，得到机场场面监控图像分割结果；S4：将所述机场场面监控图像分割结果与所述机场场面监控图像进行对比，得到对比结果；S5：根据所述对比结果进行损失计算，并在所述损失计算结果中挑选出最优结果；S6：根据所述最优结果进行机场场面目标分割。本发明所提供的机场场面目标分割方法及其系统，能够解决现有的机场场面设计较为缓慢的问题。

Description

机场场面目标分割方法及其系统

技术领域

本发明涉及深度学习技术领域，具体涉及一种机场场面目标分割方法及其系统。

背景技术

在2008年全国民航工作会议上，中国民用航空局提出了民航强国战略，随着民用航空业的快速发展，全国颁证运输机场数量增加到241个，越来越多的人选择乘坐飞机通行，机场场面活动日益纷杂，容易造成场面安全问题并且影响机场运行效率，所以，机场场面智能化越来越重要，其中重要的一点是机场场面智能化监视，目前，机场场面智能化监视一般采用的是利用雷达或者监视摄像头模组采集到的图像进行识别与预警，而如何利用摄像头模组进行快速和精确的识别与异常行为检测是目前研究的一个重点，其中进行识别与检测的一个前提是如何高效的进行机场场面前景分割，但是，目前大部分传统前景分割方法存在分割不完整、效率不高等问题。

在机场场面目标分割中，面临着前景分割的常见问题，诸如动态背景、光线的渐变与突变、目标阴影、雾霾雨雪灾难性天气等挑战性场景，精确的定义前景并且快速准确的提取前景是一件很艰难的任务。常用的传统前景分割方法是背景减除法，通常做法是建立一个背景模型，利用接下来视频帧中的信息更新背景模型，然后该模型不断与接下来视频帧图像进行比较，其中与背景模型差异较大的认为是前景，而视频帧中与背景模型相近的区域被视为背景。总体框架可以通过以下几个阶段来描述：从当前和以前的帧中提取特征、背景模型初始化和维护、前景分割。1)特征提取：灰度、纹理和边缘是是前景分割算法中常用的底层图像特征。基于超像素的特征也用于特征提取，特定的空间和时空特征描述符也被用来提高性能。2)背景模型初始化和维护：背景建模技术可以大致分为参数化和非参数化方法。在参数化方法中，通过混合高斯(MOG)和期望最大化(EM)算法等模型对每个位置的统计分布进行建模和更新，基于MOG的改进方法采用可变参数选择、空间混合高斯和快速初始化。非参数化方法的灵感主要来自基于核密度估计和基于共识的方法。在方法ViBe中，提出了三种显著的背景模型维护策略:随机背景样本替换来代表短期和长期历史，无记忆更新策略和通过背景样本传播的空间扩散策略，这些策略已被最新的最先进的前景分割技术广泛采用，基于像素的自适应分割方法中引入了决策阈值(用于前景分割)和学习率(用于模型更新)的自适应更新策略。此外，在WeSamBE方法中提出了一种自适应反馈机制来连续监测背景模型保真度和分割熵来更新这些参数。3)前景分割：现有方法中常用的方法是基于阈值的分割，并结合后处理技术进行前景分割。

传统的前景分割方法在室内环境光线变化波动不大的情形下能够良好工作，但是当在室外环境下，比如在机场场面的环境下，存在天气变化或者光照突变，往往分割效果不佳。最近，研究人员也使用深度学习模型进行前景分割，许多方法都利用现成的预先训练的神经网络提取特征，并与统计或者手工制作的背景建模技术集成，用于时序特征编码，这些方法的主要用于减轻为生成Ground Truth而进行像素级注释的繁琐任务。他们用从视频中精心挑选的帧训练卷积神经网络模型，然后对所有视频帧进行分割，以生成像素级的估计。这些方法比较复杂，没有面向机场典型环境进行设计，速度很慢，很难在机场场面视频实时监控中发挥作用。

不同于其他的前景分割使用场景，在机场场面前景分割中，前景目标具有多种尺度，从而使得目前比较常用的神经网络很难很好的提取到不同尺度的航空器的特征，最终导致分割结果比较差。而机场场面不同于其他监视场景，它自身带有一定的空间位置信息，一般机场场面监视场景上面部分为天空，中间部分为机场跑道，下面部分为机场航站楼，机场场面监视中，航空器一般出现在机场跑道和航站楼区域，这为本发明实施例设计神经网络提供了一种新的思路，本发明实施例可以更加关注航空器的出现区域，从而更加高效的进行航空器的分割处理。

发明内容

本发明的目的在于提供一种机场场面目标分割方法及其系统，以解决现有的机场场面设计较为缓慢的问题。

本发明解决上述技术问题的技术方案如下：

本发明提供一种机场场面目标分割方法，所述机场场面目标分割方法包括：

S1：对机场场面监控图像进行多尺度特征提取；

S2：根据所述多尺度特征，得到位置空间注意力模型图；

S3：对所述空间注意力模型图进行解码操作，得到机场场面监控图像分割结果；

S4：将所述机场场面监控图像分割结果与所述机场场面监控图像进行对比，得到对比结果；

S5：根据所述对比结果进行损失计算，并在所述损失计算结果中挑选出最优结果；

S6：根据所述最优结果进行机场场面目标分割。

可选择地，所述多尺度特征包括周围建筑监控图像特征、机场跑道监控图像特征和航站楼监控图像特征。

可选择地，所述步骤S1中，通过神经网络对机场场面监控图像进行多尺度特征提取。

可选择地，所述神经网络包括卷积层和池化层。

可选择地，所述步骤S2包括以下分步骤：

S21：对提取到的多尺度特征进行分层操作，得到分层结果；

S22：采用跳跃连接和卷积操作对所述分层结果进行处理，得到处理结果；

S23：根据处理结果生成位置空间注意力模型图。

可选择地，步骤S21中，所述分层结果包括生成多层次的浅层信息和深层信息；步骤S22中，所述跳跃连接包括每一层的浅层信息直接跳跃至解码模块，以及每一层的浅层信息跳跃至下一层浅层信息的末端，并与下一个浅层信息进行卷积操作。

可选择地，所述步骤S3中，通过以下解码模型对所述空间注意力模型图进行解码操作：

Dec＝De₃(De₂(De₁(fea_map)))

其中，De_j(x)表示第j个转置卷积层，fea_map表示输入的特征图，R 表示ReLU模型，k表示卷积核的个数和大小，up()表示上采样模型Dec表示整个解码模块，h和w分别表示卷积核的长和宽，De₁表示第1层解码，De₂表示第2层解码，De₃表示第3层解码。

可选择地，通过采用dice loss进行损失计算。

可选择地，所述步骤S3和步骤S4之间还包括：对所述分割结果进行特征提取和分类。

基于此，本发明还提供一种采用上述的机场场面目标分割方法的分割系统，所述分割系统包括：

编码模块，所述编码模块用于对所述机场场面监控图像进行多尺度特征提取，并根据所述多尺度特征，得到位置空间注意力模型；

解码模块，所述解码模块用于对所述空间注意力模型图进行解码操作，以得到机场场面监控图像分割结果；以及

FG模块，所述FG模块用于对所述分割结果进行特征提取和分类，以与所述机场场面监控图像进行对比。

本发明具有以下有益效果：

1、相比较于传统方法的特征建模，本发明不需要对图像进行特征设计，能够高效提取特征和目标分割；

2、在机场场面这一特定的监视场景，本发明结合了机场场面特定的空间结构和图像的低层/高层特征，大大提高了目标分割精度；

3、能够端到端的形式对视频图像进行处理，不需要对监视图像进行预处理，提高了算法的效率。

附图说明

图1为本发明实施例所提供的机场场面目标分割方法的流程图；

图2为图1中步骤S2的分步骤流程图；

图3为本发明实施例所提供的机场场面目标分割方法的原理图；

图4为本发明实施例所提供的机场场面目标分割方法的机场场面监控图像结构示意图；

图5为本发明实施例所提供的机场场面目标分割方法的空间位置注意力模块示意图；

图6为本发明实施例所提供的机场场面目标分割方法的网络部分细节图 ((a)为网络的多尺度跳跃连接；(b)为ASPP模块；(c)为生成前景概率的FG模块))；

图7为本发明实施例所提供的机场场面目标分割方法的分割结果示意 图；

图8为本发明实施例所提供的机场场面目标分割方法的分割过程示意 图。

附图标记说明

1-可识别图像；11-第一浅层信息；12-第二浅层信息；13-第三浅层信息；14-第四浅层信息。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例

本发明解决上述技术问题的技术方案如下：

本发明提供一种机场场面目标分割方法，参考图1所示，所述机场场面目标分割方法包括：

S1：对机场场面监控图像进行多尺度特征提取；

S2：根据所述多尺度特征，得到位置空间注意力模型图；

S3：对所述空间注意力模型图进行解码操作，得到机场场面监控图像分割结果；

S4：将所述机场场面监控图像分割结果与所述机场场面监控图像进行对比，得到对比结果；

S5：根据所述对比结果进行损失计算，并在所述损失计算结果中挑选出最优结果；

S6：根据所述最优结果进行机场场面目标分割。

可选择地，所述多尺度特征包括周围建筑监控图像特征、机场跑道监控图像特征和航站楼监控图像特征。

可选择地，所述步骤S1中，通过神经网络对机场场面监控图像进行多尺度特征提取。

可选择地，所述神经网络包括卷积层和池化层。

可选择地，参考图2所示，所述步骤S2包括以下分步骤：

S21：对提取到的多尺度特征进行分层操作，得到分层结果；

S22：采用跳跃连接和卷积操作对所述分层结果进行处理，得到处理结果；

S23：根据处理结果生成位置空间注意力模型图。

可选择地，步骤S21中，所述分层结果包括生成多层次的浅层信息和深层信息；步骤S22中，所述跳跃连接包括每一层的浅层信息直接跳跃至解码模块，以及每一层的浅层信息跳跃至下一层浅层信息的末端，并与下一个浅层信息进行卷积操作。具体地，参考图3，浅层信息包括图像的细节、轮廓以及位置信息。具体地，图片在进入编码模块后变成可识别图像1，编码模块对可识别图像1进行编码分层，生成多层浅层信息和深层信息，在进行跳跃连接时，第一浅层信息11有两次跳跃，即一次直接跳跃至解码模块，另一次跳跃至第二浅层信息12的末端，并与第二浅层信息12的输出进行卷积，即内部元素相乘，如此类推第二浅层信息12和第三浅层信息13,以及第三浅层信息13和第四浅层信息14，之后，ASPP模块对第三浅层信息13的跳跃结果以及第四浅层信息14的输出进行卷积的最终结果进行跨通道信息融合。

可选择地，通过以下解码模型对所述空间注意力模型图进行解码操作：

Dec＝De₃(De₂(De₁(fea_map)))

其中，De_j(x)表示第j个转置卷积层，fea_map表示输入的特征图，R 表示ReLU模型，k表示卷积核的个数和大小，up()表示上采样模型，Dec表示整个解码模块，h和w分别表示卷积核的长和宽，De₁表示第1层解码，De₂表示第2层解码，De₃表示第3层解码。

可选择地，通过语义分割的方式进行损失计算，可选的，采用dice loss 进行损失计算。

可选择地，所述步骤S3和步骤S4之间还包括：对所述分割结果进行特征提取和分类。具体，通过FG模块进行特征提取和分类，公式表示为:

其中，δ表示sigmoid函数，Dec表示整个解码模块，

表示长和宽分别为一的一个卷积核。具体地，根据解码以后的结果生成前景概率预测，预测得到目标分割结果。

基于此，本发明还提供一种采用上述的机场场面目标分割方法的分割系统，所述分割系统包括：

编码模块，所述编码模块用于对所述机场场面监控图像进行多尺度特征提取，并根据所述多尺度特征，得到位置空间注意力模型；

解码模块，所述解码模块用于对所述空间注意力模型图进行解码操作，以得到机场场面监控图像分割结果；以及

FG模块，所述FG模块用于对所述分割结果进行特征提取和分类，以与所述机场场面监控图像进行对比。

首先，网络的整体如下图3所示，输入为机场场面监控视频图像，输出为前景目标分割结果。整体框架结构为“编码-解码”结构，由于卷积神经网络的强大特征提取能力，在编码阶段，本发明实施例使用了基于VGG16的神经网络来进行特征提取，这个阶段的主要目的是进行多尺度特征提取，在进行编码的过程中，由与多个卷积操作和池化操作，使得特征图会逐渐变小，获取到图像的高层特征，同时感受野增大。高层特征包含了图像丰富的抽象特征，然而进行前景目标分割中，低层特征也是十分有用的，因此本发明实施例使用了跳跃连接，通过跳跃连接把低层特征加到解码阶段，如图3中这利用了低层特征的纹理、边缘等信息，提高对不同尺度前景目标的适应能力。

在编码阶段，因为本发明实施例只需要提取特征，不要做分类任务，于是本发明实施例对VGG16进行了改造，只采用了前面五层，去除了全连接层和softmax层，加入了一个FM模块，对编码特征进行跨通道信息融合，如图6(b)所示。并对每一层输出的特征图大小进行调整，让网络更加适用于机场场面的特征提取，

其次，经过对机场场面监控视频进行分析，可以发现机场场面监控视频图像空间总是具有以下结构，第一部分是天空和周围居民建筑，第二部分是机场起飞跑道，第三部分是航站楼和跑道，如图6所示。机场场面监控视频中，前景目标大部分时间出现跑道和航站楼区域，因此本发明实施例可以设计一种位置空间注意力机制，让设计的模型更加关注跑道和航站楼区域，对于给定的输入特征图，该位置空间注意力模块能提取每个水平划分部分的上下文信息，然后从上下文信息来估计信道权重，预测前景目标概率，提高分割精度。

该空间位置注意力模块(Spatial Location Attention Module，SLAM) 如图7所示，低层的特征图经过宽度维的池化操作，压缩空间维，在宽度进合并操作得到Cs×Hs×1的特征图，合并操作后，由于并不是生成特征图的所有像素对于计算有效的注意力图都是必要的，因此需要经过插值进行下采样，如图5中(A)所示，同时，由于下采样表示构造的注意力图也是粗糙的，因此还需要通过上采样将注意力图转换为与给定的高层特征图Xd具有同样的高维，如图5中(C)所示。

位置空间注意力图是经过卷积层来获得的，这些卷积层将宽度合并和插值后的特征图作为输入。在生成注意力图的过程中，用卷积层来考虑空间位置关系，在计算注意力图的激活阶段，使用sigmoid函数进行。在进行卷积操作的过程中，为了充分考虑位置信息，采用了正弦位置编码，如图5中(B) 所示。

再者，在解码阶段，解码网络的主要任务是把通过编码阶段编码的特征图进行解码，把分辨率缩小的特征图恢复成原图大小，得到机场场面目标分割结果。与编码阶段相对应，本发明实施例使用了转置卷积的卷积层，并把编码阶段得到的各个部分得到的特征图经过跳跃连接结合起来，本发明使用了三个跳跃连接，如图6(a)所示，整个解码网络可以表示为：

Dec＝De₃(De₂(De₁(fea_map)))

其中，De_j(x)表示第j个转置卷积层，fea_map表示输入的特征图，R 表示ReLU模型，k表示卷积核的个数和大小，up()表示上采样模型，Dec表示整个解码模块，h和w分别表示卷积核的长和宽，De₁表示第1层解码，De₂表示第2层解码，De₃表示第3层解码。每一个转置卷积层把特征图恢复到特定的大小，通过解码网络后，特征图恢复到原图大小，最终的前景预测概率由FG模块给出，如图5(C)，公式表示为:

其中，δ表示sigmoid函数，Dec表示整个解码模块，

表示长和宽分别为一的一个卷积核。具体地，根据解码以后的结果生成前景概率预测，预测得到目标分割结果。

之后，在模型训练阶段，本发明实施例使用dice loss来进行损失计算，而不是cross entropy loss，并使用Adam优化器进行优化，这是因为，在机场场面监视视频中，通过对Ground Truth的分析，前背景区域存在严重不平衡问题，前景目标(飞机)所在区域面积只占有总图像面积的小部分，因为dice loss是一个区域相关的loss。区域相关的意思就是，当前像素的 loss不光和当前像素的预测值相关，和其他点的值也相关。dice loss的求交的形式可以理解为掩码操作，因此不管图片有多大，固定大小的正样本的区域计算的loss是一样的，对网络起到的监督贡献不会随着图片的大小而变化。而cross entropyloss会公平处理正负样本，当出现正样本占比较小时，就会被更多的负样本淹没。

最后，利用训练好的模型进行机场场面前景目标分割。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种机场场面目标分割方法，其特征在于，所述机场场面目标分割方法包括：

S1：对机场场面监控图像进行多尺度特征提取；

S2：根据所述多尺度特征，得到位置空间注意力模型图；

S3：对所述空间注意力模型图进行解码操作，得到机场场面监控图像分割结果；

S4：将所述机场场面监控图像分割结果与所述机场场面监控图像进行对比，得到对比结果；

S5：根据所述对比结果进行损失计算，并在所述损失计算结果中挑选出最优结果；

S6：根据所述最优结果进行机场场面目标分割。

2.根据权利要求1所述的机场场面目标分割方法，其特征在于，所述多尺度特征包括周围建筑监控图像特征、机场跑道监控图像特征和航站楼监控图像特征。

3.根据权利要求1所述的机场场面目标分割方法，其特征在于，所述步骤S1中，通过神经网络对机场场面监控图像进行多尺度特征提取。

4.根据权利要求3所述的机场场面目标分割方法，其特征在于，所述神经网络包括卷积层和池化层。

5.根据权利要求1所述的机场场面目标分割方法，其特征在于，所述步骤S2包括以下分步骤：

S21：对提取到的多尺度特征进行分层操作，得到分层结果；

S22：采用跳跃连接和卷积操作对所述分层结果进行处理，得到处理结果；

S23：根据处理结果生成位置空间注意力模型图。

6.根据权利要求5所述的机场场面目标分割方法，其特征在于，

步骤S21中，所述分层结果包括生成多层次的浅层信息和深层信息；

步骤S22中，所述跳跃连接包括每一层的浅层信息直接跳跃至解码模块，以及每一层的浅层信息跳跃至下一层浅层信息的末端，并与下一个浅层信息进行卷积操作。

7.根据权利要求1所述的机场场面目标分割方法，其特征在于，所述步骤S3中，通过以下解码模型对所述空间注意力模型图进行解码操作：

Dec＝De₃(De₂(De₁(fea_map)))

其中，De_j(x)表示第j个转置卷积层，fea_map表示输入的特征图，R表示ReLU模型，k表示卷积核的个数和大小，up()表示上采样模型，Dec表示整个解码模块，h和w分别表示卷积核的长和宽，De₁表示第1层解码，De₂表示第2层解码，De₃表示第3层解码。

8.根据权利要求1所述的机场场面目标分割方法，其特征在于，所述步骤S5中，通过采用dice loss进行损失计算。

9.根据权利要求1所述的机场场面目标分割方法，其特征在于，所述步骤S3和步骤S4之间还包括：

对所述分割结果进行特征提取和分类。

10.一种采用上述权利要求1-9中所述的机场场面目标分割方法的分割系统，其特征在于，所述分割系统包括：

编码模块，所述编码模块用于对所述机场场面监控图像进行多尺度特征提取，并根据所述多尺度特征，得到位置空间注意力模型；

解码模块，所述解码模块用于对所述空间注意力模型图进行解码操作，以得到机场场面监控图像分割结果；以及

FG模块，所述FG模块用于对所述分割结果进行特征提取和分类，以与所述机场场面监控图像进行对比。

Images