CN109948524A - 一种基于空基监视的交通车辆密度估计方法 - Google Patents

Abstract

本发明公开了一种基于空基监视的交通车辆密度估计方法，属于航空监视领域。首先使用单通道卷积神经网络对归一化处理后的待检测场景图进行多尺度特征提取，得到对应的三种具有不同尺度信息的特征图后，分别缩放到相同的尺寸，通过1×1卷积融合其特征维信息。然后使用多尺度池化模块进行进一步的特征提取和融合，得到各图像对应的最终特征图后，使用三组相间的最邻近差值上采样搭配卷积的操作对最终特征图进行解码和复原图像分辨率。最后对每张特征图使用1×1卷积整合其特征维信息，并使用双线性插值法恢复其空间分辨率，得到最终的车辆密度估计图。本发明的网络结构简单轻便，避免了使用多分支网络造成的参数、计算量与计算时间的冗余。

Description

一种基于空基监视的交通车辆密度估计方法

技术领域

本发明属于航空监视领域，涉及一种基于空基监视的交通车辆密度估计方法。

背景技术

随着近年来国家对低空领域使用权的不断开放，无人机经常被用来执行辅助灾情巡查和监视特殊场景等任务。而在这些任务中，监视道路交通是一项很重要的任务，在交通拥挤现象越来越频繁的今天，估计交通车辆密度对于道路规划、交通预警以及信息收集都具有重大意义。

对于车辆密度估计，需要较为精确地估计道路上车辆的数目，以判断是否达到预警阈值，同时也需要较为准确的估计车辆密度与车辆定位，用于判断事故的发生。为了同时满足以上两个需求，通过卷积神经网络生成车辆密度图是最优的选择之一。

生成密度图的方法有很多，近年来效果较好的大部分为基于多路卷积的方法，使用多路具有不同大小卷积核的卷积神经网络提取原始图像中的多尺度信息，之后将得到的多组特征图进行融合，得到最终的密度图，在一定程度上解决了计数与密度估计问题中最为棘手的多尺度问题。但此类方法由于使用多路不同的卷积神经网络，多路分支的参数及其提取的特征均存在大量冗余，同时由于参数量巨大，为了控制参数导致网络较浅，每一路分支网络都无法充分地提取相应的信息，在一定程度上限制了其效果。

发明内容

针对上述问题，本发明提供一种基于空基监视的交通车辆密度估计方法，使用基于多尺度图像处理的网络结构实现空基交通车辆的密度估计；通过对输入图像的缩放，使用简单的单通道网络实现多尺度信息的提取和融合，减少了参数量与计算量，避免了大量参数的冗余，且能够充分地提取相关信息，实现效果良好的空基车辆密度估计。

具体步骤包括：

步骤一、获取待检测场景图并对其进行初步归一化处理；

归一化处理是指将待检测场景图上每个像素点的值限制在[-1,1]范围内。

步骤二、使用单通道卷积神经网络对归一化后的每张图像，分别进行多尺度特征提取，得到各自对应的三种具有不同尺度信息的特征图。

针对每张归一化后的图像，分别缩放成三种不同的尺寸：原图尺寸，原图的二分之一尺寸和原图的四分之一尺寸，并将这三张不同尺寸的图像送入同一单通道卷积神经网络中进行特征提取，得到对应的三种不同尺度信息的特征图。

步骤三、针对每张图像，将三种具有不同尺度信息的特征图分别缩放到相同的尺寸，通过1×1卷积融合其特征维信息。

针对三种不同尺度信息的特征图，将最小尺寸的特征图上采样2倍，将最大尺寸的特征图下采样2倍，将三个不同特征图的空间维缩放到同一尺寸，并将其沿着特征维进行拼接，通过1×1卷积将多尺度特征进行初步融合。

步骤四、针对每张特征维拼接融合后的具有多尺度信息的特征图，使用多尺度池化模块进行进一步的特征提取和融合，得到各图像对应的最终特征图。

具体为：

首先，将每张特征维拼接融合后的具有多尺度信息的特征图，输入多尺度池化模块；

经过4种不同的平均池化层提取和抽象四种不同尺度的特征图；

每层的尺寸分别为原特征图的和

然后，将四种不同尺度的特征图通过1×1卷积进行融合，对特征维度进行降维；

最终得到和输入特征图相同尺寸的输出特征图，作为解码车辆密度图的最终特征图。

步骤五、对每张最终特征图，使用三组相间的最邻近差值上采样搭配卷积的操作对最终特征图进行解码和复原图像分辨率。

具体过程为：

将每张最终特征图通过上采样2倍的最邻近差值和紧随其后的3×3卷积层，在增大特征图分辨率的同时使用卷积层整合空间维和特征维的特征并解码。通过使用3组最邻近差值搭配卷积层的结构，将特征图分辨率上采样8倍，最终的特征图空间维尺寸为原图的一半。

步骤六、对每张经最邻近差值上采样与卷积操作处理的特征图，使用1×1卷积进一步整合其特征维信息，并使用双线性插值法恢复其空间分辨率，得到最终的车辆密度估计图。

具体为：经过最邻近差值上采样与卷积操作解码后的特征图，通过卷积核尺寸为1的卷积层对其特征维度信息进行进一步整合；另外针对当前特征图空间维尺寸仅为原图像的一半，使用双线性插值法对特征图的分辨率进行进一步的恢复，即得到与原始图像尺寸相同的车辆密度图。

本发明的优点在于：

1)、一种基于空基监视的交通车辆密度估计方法，可直接通过对场景图像的拍摄和后台处理，实现目标场景下实时的车辆数目的统计，并获取当前场景下清晰的车辆密度图而不依赖其他设备和工具。

2)、一种基于空基监视的交通车辆密度估计方法，使用单通道网络中不同卷积层输出的特征图进行多尺度信息的提取与融合，网络结构简单轻便，避免了使用多分支网络造成的参数、计算量与计算时间的冗余。

附图说明

图1为本发明一种基于空基监视的密集车辆密度估计方法流程图；

图2为本发明中采用的单通道卷积神经网络处理图像的示意图。

图3为本发明中采用的多尺度池化模块处理图像的示意图。

具体实施方式

为了使本发明能够更加清楚地理解其技术原理，下面结合附图具体、详细地阐述本发明实施例。

为了统计不同路段车流量密度和车辆数目，即车辆密度估计问题，本发明提供了一种基于空基监视的交通车辆密度估计方法，使用结构简单、参数较少的单通道网络实现对图像中多尺度信息及特征的提取与融合，进而使用无参解码器对所得特征进行解码，得到最终的车辆密度图并可根据密度图获得车辆总数，效果显著，可用于飞行器飞行过程中场景的车辆计数与密度估计。

本发明首先获取并处理待检测场景图，使用多尺度图像处理的网络结构和方法，在单通道的网络中实现多尺度的特征进行提取，得到多个具有多尺度信息的特征图。然后，使用多尺度池化模块对经过多个残差模块处理的特征图进行进一步特征提取和融合。进而，将经过一系列处理的特征图通过多次最邻近差值和卷积的操作，对特征图进行解码，同时恢复图像的分辨率。最后通过双线性差值法将特征图分辨率恢复到输入图像大小，所得的最终特征图即为所需的车辆密度估计图。

如图1所示，具体步骤包括：

步骤一、获取待检测场景图并对其进行初步归一化处理；

归一化处理是指将待检测场景图上每个像素点的值限制在[-1，1]范围内。

步骤二、使用单通道卷积神经网络对归一化后的每张图像，分别进行多尺度特征提取，得到各自对应的三种具有不同尺度信息的特征图。

在车辆密度估计问题中，一个首要的难点在于不同车辆的尺寸和形态并不统一，且由于距离的原因导致同样的车辆大小也并不一致，近距离的车辆较大，而远距离处的车辆经常会显得十分微小，这会对整个车辆密度的统计产生极大地影响，因此目标多尺度的问题是车辆密度估计问题中一个首要解决的难题。

目前主流的方法均采用多路不同结构的卷积神经网络来提取不同尺度的特征，再将其进行融合。但这类方法结构复杂，参数量大且有很大的冗余。

在一个固定结构的卷积神经网络中，每一层卷积层的感受野是固定的，因此为了提取多尺度特征，除了使用不同卷积核大小的卷积神经网络之外，还可以通过改变输入图像的大小，来改变卷积层的感受野在图像中的覆盖范围，从而得到不同尺度的信息。

如图2所示，本发明使用多尺度图像处理的网络结构对图像中的多尺度特征进行提取，在多尺度特征提取和融合阶段采用，将每张归一化后的原始图像，分别缩放成三种不同的尺寸：原图尺寸，原图的二分之一尺寸和原图的四分之一尺寸，并将这三张不同尺寸的图像送入同一单通道卷积神经网络中进行特征提取，且该全卷积神经网络中包含三次下采样操作，即可得到对应的三种不同尺度信息的特征图，尺寸分别为原图的八分之一、十六分之一和三十二分之一；即使用简单的一个单通道卷积神经网络实现了多尺度特征的提取。

步骤三、针对每张图像，将三种具有不同尺度信息的特征图分别缩放到相同的尺寸，通过1×1卷积融合其特征维信息。

一般情况下，全卷积神经网络的输入和输出的尺寸比例是固定的，在本方法中，由于输入图像被缩放成了三种不同的尺寸，且成1，2，4的倍数关系，经过同一卷积神经网络之后所得的三个具有不同尺度的特征图的尺寸也同样具有1，2，4的倍数关系。因此在将多尺度信息融合之前，需要将三种不同尺寸的特征图缩放到同一尺寸。

本方法针对三种不同尺度信息的特征图，将最小尺寸即尺寸为原图三十二分之一的特征图进行2倍的上采样，将最大尺寸的特征图即尺寸为原图八分之一的特征图进行2倍的下采样，将三个不同尺寸的特征图的空间均维缩放到同一尺寸，即原图十六分之一的大小。并将三个特征图沿着特征维进行拼接，通过参数量少且性能较好的1×1卷积将多尺度特征进行初步特征融合。沿特征维计算的1×1卷积相当于将特征图每个空间像素位置的特征向量进行加权融合运算，且由于卷积层的权重共享，只需要很少的参数即可实现多尺度特征的初步融合。

步骤四、针对每张特征维拼接融合后的具有多尺度信息的特征图，使用多尺度池化模块进行进一步的多尺度特征融合与编码，得到各图像对应的最终特征图。

池化层作为卷积神经网络中最基本最重要的元素之一，具有很强的对特征图特征的总结和抽象的能力，可以通过设置核的大小对相应尺寸感受野的信息进行提取和抽象。普通的池化层中池化核的尺寸是固定的，只能池化固定尺寸的感受野的信息，这在目标尺寸变化很大的情况下对模型的性能帮助很小。

如图3所示，本方法采用的多尺度池化模块分别使用四种不同尺寸的池化层对特征图进行池化，以提取并抽象多种尺寸的感受野的信息，再将四种池化层的结果通过拼接结合到一起，使用卷积核尺寸为1的卷积层对其进行融合与降维，即实现了进一步的多尺度特征提取与融合。

具体为：

首先，将每张特征维拼接融合后的具有多尺度信息的特征图，输入多尺度池化模块；

经过4种不同的平均池化层进行提取和抽象，得到四种不同尺度的特征图；

每层的尺寸分别为原特征图的和

然后，将四种不同尺度的特征图通过1×1卷积进行融合，对特征维度进行降维；

最终得到和输入特征图相同尺寸的输出特征图，作为解码车辆密度图的最终特征图。

步骤五、对每张最终特征图，使用三组相间的最邻近差值上采样搭配卷积的操作对最终特征图进行解码，将其内部的信息解码为车辆密度图信息，并部分恢复特征图的空间分辨率。

在经过上述特征提取与融合步骤后，原图像的多尺度特征已被充分提取和融合，同时由于本方法的卷积神经网络结构在特征提取的过程中经过了三次下采样操作，且在多尺度特征初步融合时对特征图进行了缩放，因此特征图的图像分辨率在宽和高两个维度上均缩小为原来的十六分之一。在此基础上，要得到最终所需的车辆密度估计图，需要将特征图中的特征解码为车辆的密度信息，并且将特征图的分辨率进行部分还原。

为了将融合的多尺度特征进行解码并同时恢复特征图的空间分辨率，本方法使用多次相间的最邻近差值上采样与卷积的操作，具体过程为：

将每张最终特征图通过上采样2倍的最邻近差值和紧随其后的3×3卷积层，在增大特征图分辨率的同时使用卷积层整合空间维和特征维的特征并解码，且所得的特征图与直接上采样多倍相比具有更好的细节特征。

其中，2倍上采样的最邻近差值可将特征图的空间分辨率提升一倍，而之后的卷积操作可将其小区域空间及特征维度的信息进行一定程度的解码，是图像生成方法中一种十分可靠的方法。本方法使用3次2倍上采样的最邻近差值和卷积操作的组合，在特征解码的同时将特征图分辨率增大了8倍，最终所得的特征图尺寸为原输入图像的一半。

步骤六、对每张经最邻近差值上采样与卷积操作处理的特征图，使用1×1卷积进一步整合其特征维信息，并使用双线性插值法恢复其空间分辨率，得到最终与原图相同大小的车辆密度估计图。

具体为：经过最邻近差值上采样与卷积操作解码后的特征图，部分信息依旧保存在特征维度中，通过卷积核尺寸为1的卷积层对其特征维度信息进行进一步整合，以得到单通道的密度图；另外针对当前特征图空间维尺寸仅为原图像的一半，该密度图的分辨率相较于原图像在空间维度上还有2倍的差距，使用双线性插值法对特征图的分辨率进行进一步的恢复，即得到与原始图像尺寸相同的车辆单通道密度图。

其中，1×1卷积可将经多次最邻近差值与卷积操作处理后的特征图中残留在通道维的信息进一步整合到单通道内，生成尺寸为原始图像二分之一的单通道的密度图，再通过双线性差值法放大其分辨率，从而得到与原图相同尺寸的车辆密度图。

Claims (4)

1.一种基于空基监视的交通车辆密度估计方法，其特征在于，具体步骤包括：

步骤一、获取待检测场景图并对其进行初步归一化处理；

归一化处理是指将待检测场景图上每个像素点的值限制在[-1,1]范围内；

步骤二、使用单通道卷积神经网络对归一化后的每张图像，分别进行多尺度特征提取，得到各自对应的三种具有不同尺度信息的特征图；

步骤三、针对每张图像，将三种具有不同尺度信息的特征图分别缩放到相同的尺寸，通过1×1卷积融合其特征维信息；

步骤四、针对每张特征维拼接融合后的具有多尺度信息的特征图，使用多尺度池化模块进行进一步的特征提取和融合，得到各图像对应的最终特征图；

具体为：

首先，将每张特征维拼接融合后的具有多尺度信息的特征图，输入多尺度池化模块；

经过4种不同的平均池化层提取和抽象四种不同尺度的特征图；

每层的尺寸分别为原特征图的和

然后，将四种不同尺度的特征图通过1×1卷积进行融合，对特征维度进行降维；

最终得到和输入特征图相同尺寸的输出特征图，作为解码车辆密度图的最终特征图；

步骤五、对每张最终特征图，使用三组相间的最邻近差值上采样搭配卷积的操作对最终特征图进行解码和复原图像分辨率；

具体过程为：

将每张最终特征图通过上采样2倍的最邻近差值和紧随其后的3×3卷积层，在增大特征图分辨率的同时使用卷积层整合空间维和特征维的特征并解码；通过使用3组最邻近差值搭配卷积层的结构，将特征图分辨率上采样8倍，最终的特征图空间维尺寸为原图的一半；

步骤六、对每张经最邻近差值上采样与卷积操作处理的特征图，使用1×1卷积进一步整合其特征维信息，并使用双线性插值法恢复其空间分辨率，得到最终的车辆密度估计图。

2.如权利要求1所述的一种基于空基监视的交通车辆密度估计方法，其特征在于，所述的步骤二中，针对每张归一化后的图像，分别缩放成三种不同的尺寸：原图尺寸，原图的二分之一尺寸和原图的四分之一尺寸，并将这三张不同尺寸的图像送入同一单通道卷积神经网络中进行特征提取，得到对应的三种不同尺度信息的特征图。

3.如权利要求1所述的一种基于空基监视的交通车辆密度估计方法，其特征在于，所述的步骤三具体为：针对三种不同尺度信息的特征图，将最小尺寸的特征图上采样2倍，将最大尺寸的特征图下采样2倍，将三个不同特征图的空间维缩放到同一尺寸，并将其沿着特征维进行拼接，通过1×1卷积将多尺度特征进行初步融合。

4.如权利要求1所述的一种基于空基监视的交通车辆密度估计方法，其特征在于，所述的步骤六具体为：经过最邻近差值上采样与卷积操作解码后的特征图，通过卷积核尺寸为1的卷积层对其特征维度信息进行进一步整合；另外针对当前特征图空间维尺寸仅为原图像的一半，使用双线性插值法对特征图的分辨率进行进一步的恢复，即得到与原始图像尺寸相同的车辆密度图。