CN112308000A - 一种基于时空信息的高空抛物检测方法 - Google Patents

Abstract

本发明公开了一种基于时空信息的高空抛物检测方法，包括：获取待识别图像对序列，所述待识别图像对序列为连续时间内同一个视频场景下的均匀采样图像序列；将待识别图像对序列输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的下落轨迹概率图；若所述下落轨迹概率图上存在一定长度的竖直方向连通区域，则该时间段内存在高空抛物行为；本申请可以准确定位出高空抛物体的下落轨迹，进而判断是否存在高空抛物行为。

Description

一种基于时空信息的高空抛物检测方法

技术领域

本发明涉及城市公共安全技术领域，尤其涉及一种基于时空信息的高空抛物检测方法。

背景技术

随着高楼大厦的拔地而起，高空抛物也越发增多，高空抛物现象曾被称为“悬在城市上空的痛”。在“陋习排行榜”中，它与“乱扔垃圾”齐名，排名第二。高空抛物，是一种不文明的行为，而且会带来很大的社会危害。目前社会中对于高空抛物存在难以寻找肇事者的关键问题，导致追责不及时、不到位，不能有效的警示高层用户。高空抛物不仅增加了物业的管理服务难度，其存在的安全隐患就是典型的难题，很难进行事前控制，很多事发现了已经发生了，难以定位责任人，无法进行合理追责。

针对上述问题，利用现在社会的高清广角摄像头技术，主要是在地面上安装一台摄像机，实时拍摄整栋楼画面，通过机器视觉的方法检测是否存在高空抛物行为。该类方法易受外界环境和自身硬件设备干扰，误检误报较多，同时该中方法一般作为高空抛物事后取证辅助技术手段，并不能起到高空抛物的准确检测、防范和预警的作用。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于时空信息的高空抛物检测方法，可以准确定位出高空抛物体的下落轨迹，进而判断是否存在高空抛物行为。

本发明提出的一种基于时空信息的高空抛物检测方法，包括：

获取待识别图像对序列，所述待识别图像对序列为连续时间内同一个视频场景下的均匀采样图像序列；

将待识别图像对序列输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的下落轨迹概率图；

若所述下落轨迹概率图上存在一定长度的竖直方向连通区域，则该时间段内存在高空抛物行为。

进一步地，在判断所述下落轨迹概率图上存在较长的竖直方向连通区域之前，包括：

对所述下落轨迹概率图通过预设的过滤阈值去除干扰点，得到过滤后的下落轨迹概率图；

对过滤后的下落轨迹概率图判断是否存在较长的竖直方向连通区域。

进一步地，所述深度神经网络模型包括编码网络和解码网络；

所述编码网络包括依次连接的快速下降网络、残差结构体层resblock0、最大值池化层maxpool1和残差结构体层resblock1，待识别图像对序列与快速下降网络的输入端连接，残差结构体层resblock1的输出与解码网络的输入连接。

进一步地，所述残差结构体层resblock0或残差结构体层resblock1均包括卷积层rconv0、卷积层rconv1、合并层eltsum0、合并层eltsum1和卷积层rconv2；

卷积层rconv0的输出和卷积层rconv1的输出连接到合并层eltsum0的输入，合并层eltsum0的输出分别连接到合并层eltsum1的输入、卷积层rconv2的输入，rconv2的输出连接到合并层eltsum1的输入；

在残差结构体层resblock0中，卷积层rconv0的输入和卷积层rconv1的输入均连接到快速下降网络的输出，合并层eltsum1的输出与最大值池化层maxpool1的输入连接；

在残差结构体层resblock1中，卷积层rconv0的输入和卷积层rconv1的输入均连接到最大值池化层maxpool1的输出，合并层eltsum1的输出与解码网络的输入连接；

卷积层rconv1、卷积层rconv2的输出均连接有批量归一化层和非线性激活层。

进一步地，所述快速下降网络包括依次连接的快速下降层FCS、卷积层conv0和最大值池化层maxpool0，快速下降层FCS的输入与待识别图像对序列连接，最大值池化层maxpool0的输出分别与残差结构体层resblock0中的卷积层rconv0的输入、卷积层rconv1的输入连接。

进一步地，所述快速下降层FCS包括依次连接的图像分解层split、拼接层concat和卷积层conv_fds，待识别图像对序列与图像分解层split的输入端连接，卷积层conv_fds的输出与卷积层conv0的输入连接；

卷积层conv0和卷积层conv_fds的输出均连接有批量归一化层和非线性激活层。

进一步地，所述图像分解层split用于将待识别图像对序列中的较大分辨率尺寸的图像，快速分解成若干个较小分辨率尺寸的分解子图，具体分解步骤如下：

计算待识别图像对序列的分解步长，所述分解步长等于split层的跨度；

按照行优先顺序对待识别图像对序列按分解步长进行数字编码，得到编码图像；

对编码图像中相同数字编码的像素进行提取，按照编码图像中的位置顺序连续排列拼接，得到分解子图。

进一步地，所述编码网络还包括用于对已构建完成的深度神经网络模型进行训练时使用的辅助网络aux-net；所述辅助网络aux-net包括依次连接的全局均值池化层ave-pool和全连接层fc，全局均值池化层ave-pool的输入连接到残差结构体层resblock1中合并层eltsum1的输出。

进一步地，所述解码网络包括依次连接的卷积层conv1、上采样层upsample0、特征图相加层sum0、卷积层conv2、上采样层upsample1、特征图相加层sum1、卷积层conv3、上采样层upsample2、特征图相加层sum2、卷积层conv4、卷积层conv5、激活函数层sigmod，卷积层conv1的输入与残差结构体层resblock1中合并层eltsum1的输出连接，激活函数层sigmo用于输出下落轨迹概率图的特征图像；

特征图相加层sum0的输入与残差结构体层resblock0中合并层eltsum1的输出连接，特征图相加层sum1的输入与卷积层conv0的输出连接，特征图相加层sum2的输入与快速下降层FCS中卷积层conv_fds的输出连接；

卷积层conv1、卷积层conv2、卷积层conv3、卷积层conv4、卷积层conv5的输出均连接有批量归一化层和非线性激活层。

进一步地，所述深度神经网络模型的训练步骤包括：

获取训练样本图像对，所述训练样本图像对为多个样本图像按照通道维度进行拼接合成的图像，所述多个样本图像为在设定时间内同一视频场景下的多个依次连续的图像；

对训练样本图像对中的样本图像均标注出高空抛物体的位置矩形，获取每一个位置矩形的中心点位置；

根据中心点位置计算该样本图像对轨迹范围标签；

设计所述深度神经网络模型的目标损失函数，得到定义好的深度神经网络模型；

将所述样本图像训练集输入至定义好的深度神经网络模型进行训练，得到所述预先训练后的深度神经网络模型。

进一步地，所述根据中心点位置计算该样本图像对轨迹范围标签，包括：

创建标签图像，将训练样本图像对中的所有中心点位置叠加到标签图像上，所述标签图像为与样本图像分辨率相同的灰度图像；

依次连接标签图像上中心点位置，得到高空抛物体的中心轨迹；

对中心轨迹进行形态学膨胀和二值化运算，得到增强后的中心轨迹，增强后的中心轨迹作为该样本图像对的轨迹标签；

获取轨迹标签的最小外接矩形作为该样本图像对的轨迹范围标签。

本发明提供的一种基于时空信息的高空抛物检测方法的优点在于：本发明结构中提供的一种基于时空信息的高空抛物检测方法，利用同一个视频场景下待识别图像对序列之间的运动信息和差异信息，准确定位出高空抛物体的下落轨迹，进而判断是否存在高空抛物行为；本申请可以抵抗光线变化、背景物体运动干扰，鲁棒性更强；同时采用高效的网络结构，模型计算量较小，运行速度更快；网络端到端训练，模型使用更加方便。

附图说明

图1为本发明的结构示意图；

图2是本发明方法的详细步骤流程图；

图3是深度神经网络模型结构图；

图4是残差结构体结构图；

图5是单张图像split层分解原理图，其中图(a)表示编码图像，图(b)表示分解子图；

图6是FCS层网络结构图；

其中，每个网络层图形旁边的字母数字，表示当前特征层的特征图尺寸，即：特征图高度特征图宽度特征图通道数.

具体实施方式

下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

如图1至6所示，本发明提出的一种基于时空信息的高空抛物检测方法，包括步骤S100至S300：

S100：获取待识别图像对序列，所述待识别图像对序列为设定时间内同一个视频场景下的均匀采样图像序列；

S100：将待识别图像对序列输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的下落轨迹概率图；

S300：若所述下落轨迹概率图上存在一定长度的竖直方向连通区域，则该时间段内存在高空抛物行为。

根据步骤是S100至S300，本发明采用深度学习技术，综合利用同一个视频场景下待识别图像对序列之间的运动信息和差异信息，准确定位出高空抛物体的下落轨迹，进而判断是否存在高空抛物行为；本发明可以抵抗光线变化、背景物体运动干扰，鲁棒性更强；同时采用高效的网络结构，模型计算量较小，运行速度更快；网络端到端训练，模型使用更加方便。

在上述对待识别图像对序列进行是否存在高空抛物体检测之前，还需对深度神经网络模型进行构建及训练，然后利用训练好的深度神经网络模型进行是否存在高空抛物体的检测，整体方案如图2所示：

本实施例中，摄像机安装在距离楼宇20米到50米的地面上，以仰视姿势拍摄被监控楼宇的若干楼层外表面，需确保采集的图像中，可以清晰的看到较小的高空抛物体，因此，对输入图像分辨率要求较高，本发明为方便叙述，采用分辨率为1280x1280的输入图像作为例图。

如图2和3所示，具体的步骤如下：

S1、设计深度神经网络模型，众所周知，在实际应用场景下，受光线变化、拍摄角度、树叶摆动、窗户阳台挂件的影响，在摄像机的监控画面上会出现很多干扰运动物体，严重影响高空抛物体的检测，使用现有的机器视觉方法很难进行准确的抛物体定位，因此，本发明提出一种基于时空信息的高空抛物检测方法，该方法采用深度学习技术，通过借助一个精心设计的深度神经网络模型，能够根据不同抛物体的下落特征，自适应的定位出高空抛物体的下落轨迹。本发明使用卷积神经网络(CNN)进行深度神经网络模型设计，为了方便叙述本发明，定义一些术语：特征图分辨率指的是特征图高度×特征图宽度，特征图尺寸指的是特征图高度×特征图宽度×特征图通道数，核尺寸指的是核宽度×核高度，跨度指的是宽度方向跨度×高度方向跨度，另外，每一个卷积层后面均带有批量归一化层和非线性激活层。本发明设计的深度神经网络模型，其具体网络结构如图3所示，设计过程分为以下步骤：

S11、设计深度神经网络模型的输入图像，本发明需要具有监控较小高空抛物体的能力，对输入图像(待识别图像对序列)分辨率要求较高，输入图像包括10幅3通道RGB图像，其中，10幅3通道RGB图像表示单位时间内连续的均匀采样图像序列。

S12、设计深度神经网络模型的编码网络，编码网络主要用来提取输入图像的深层语义特征，是整个深度神经网络模型中运算操作最密集的部分，直接决定了深度神经网络模型的性能。由步骤S11可知，本发明采用的输入图像尺寸较大，不利于深度神经网络模型的快速运行，因此，需要一种能够快速提取输入图像特征的高效网络，本发明设计的编码网络如图3所示，所述编码网络包括依次连接的快速下降网络、残差结构体层resblock0、最大值池化层maxpool1和残差结构体层resblock1，待识别图像对序列与快速下降网络的输入端连接，残差结构体层resblock1的输出与解码网络的输入连接；所述快速下降网络包括依次连接的快速下降层FCS、卷积层conv0和最大值池化层maxpool0，快速下降层FCS的输入与待识别图像对序列连接，最大值池化层maxpool0的输出分别与残差结构体层resblock0中的卷积层rconv0的输入、卷积层rconv1的输入连接。

其中，FCS(fast conv sample)层是输入图像分辨率快速下降层；conv0是一个核尺寸是7×7，跨度是2×2的卷积层；maxpool0层和maxpool1层分别是一个核尺寸为2×2，跨度为2×2的最大值池化层；FCS层、conv0层和maxpool0层共同组成了一个特征图分辨率快速下降网络，主要作用是在保留更多图像细节的同时，快速降低特征图分辨率，减少后续操作的运算量。

resblock0层和resblock1均是一个跨度为2x2的残差结构体，该残差结构体类似于resnet网络的残差结构体，其具体结构如图4所示，所述残差结构体层resblock0和残差结构体层resblock1均包括卷积层rconv0、卷积层rconv1、合并层eltsum0、合并层eltsum1和卷积层rconv2；卷积层rconv0的输出和卷积层rconv1的输出连接到合并层eltsum0的输入，合并层eltsum0的输出分别连接到合并层eltsum1的输入、卷积层rconv2的输入，rconv2的输出连接到合并层eltsum1的输入；在残差结构体层resblock0中，卷积层rconv0的输入和卷积层rconv1的输入均连接到快速下降网络的输出，合并层eltsum1的输出与最大值池化层maxpool1的输入连接；在残差结构体层resblock1中，卷积层rconv0的输入和卷积层rconv1的输入均连接到最大值池化层maxpool1的输出，合并层eltsum1的输出与解码网络的输入连接。其中，rconv1层是一个核尺寸为1x1，跨度为2x2的卷积层；rconv0层是一个核尺寸为3x3,跨度为2x2的卷积层；rconv2层是一个核尺寸为3x3,跨度为1x1的卷积层，eltsum0层和eltsum1层均是合并层，其作用是把多个输入特征图按对应元素相加合并成一个输出特征图。

FCS层的具体结构如图6所示，所述快速下降层FCS包括依次连接的图像分解层split、拼接层concat和卷积层conv_fds，待识别图像对序列与图像分解层split的输入端连接，卷积层conv_fds的输出与卷积层conv0的输入连接。

其中，concat层是按通道维度进行拼接的拼接层；conv_fcs层是一个核尺寸为1x1,跨度为1x1的卷积层，主要用于融合concat层输出的拼接特征图；split层是图像分解层，主要作用是把待识别图像对序列中的较大分辨率尺寸的图像，快速分解成若干个较小分辨率尺寸的分解子图；为了增加编码网络的特征提取能力，本发明设计了一个只在深度神经网络模型的训练阶段起作用的辅助网络aux-net，所述辅助网络aux-net包括依次连接的全局均值池化层ave-pool和一个输出是4维的全连接层fc，全局均值池化层ave-pool的输入连接到残差结构体层resblock1中合并层eltsum1的输出；该辅助网络aux-net通过回归分析运算获取高空抛物体的下落轨迹范围矩形。其中，split层的具体分解方法如下：

S121、计算分解步长，本发明中，分解步长等于split层的跨度，即输入特征图的宽高和输出特征图的宽高的比值，本发明中，宽高方向的分解步长均为4。

S122、编码图像，主要是按照步骤S121中获取的宽高方向分解步长，对待识别图像对序列中的图像进行数字编码，本发明以宽高方向的分解步长均为4为例，具体的图像编码步骤如下：首先，第1行按照1-2-3-4的数字序号对图像像素进行循环重复编号，第2行按照5-6-7-8的数字序号对图像像素进行循环重复编号，第3行按照9-10-11-12的数字序号对图像像素进行循环重复编号，第4行按照13-14-15-16的数字序号对图像像素进行循环重复编号；然后，从第5行开始，每隔4行，重复进行第1行到第4行的像素编号过程，直到图像最后一行。编码图像示意图如图5(a)所示。

S123、获取分解子图，主要是基于步骤S122获取的编码图像，把相同数字编号的像素取出来，按照在编码图像中的位置顺序连续排列拼接，形成新的子图，即是分解子图，示意图如图5(b)所示。

S13、设计深度神经网络模型的解码网络，解码网络主要利用编码网络输出的深层语义特征，通过上采样运算和卷积操作获取高空抛物体的下落轨迹概率图。具体网络结构如图3所示，所述解码网络包括依次连接的卷积层conv1、上采样层upsample0、特征图相加层sum0、卷积层conv2、上采样层upsample1、特征图相加层sum1、卷积层conv3、上采样层upsample2、特征图相加层sum2、卷积层conv4、卷积层conv5、激活函数层sigmod，卷积层conv1的输入与残差结构体层resblock1中合并层eltsum1的输出连接，激活函数层sigmod用于输出下落轨迹概率图的特征图像；特征图相加层sum0的输入与残差结构体层resblock0中合并层eltsum1的输出连接，特征图相加层sum1的输入与卷积层conv0的输出连接，特征图相加层sum2的输入与快速下降层FCS中卷积层conv_fds的输出连接。

其中，upsample0层和upsample1层均是放大倍数为4的上采样层，upsample2是放大倍数为2的上采样层，上采样层主要采用双线性插值算法进行图像分辨率放大运算；sum0、sum1、sum2均是特征图相加层，主要实现两个输入特征图逐像素相加；conv2、conv3、conv4均一个核尺寸为3x3,跨度为1x1的卷积层，主要作用是融合特征图相加层的输出特征图和调整特征图的通道数目；conv1、conv5均是一个核尺寸为1x1跨度为1x1的卷积层，conv1层的主要作用是调整特征图的通道数目，conv5层的输出特征图表示特征图像上每个点位于高空抛物体下落轨迹上的概率；sigmod层是sigmod类型的激活函数，用于调整特征值的范围。

S2、训练深度神经网络模型，主要是通过大量的标注好的训练样本数据，优化深度神经网络模型参数，使得深度神经网络模型检测性能最优，具体的步骤如下：

S21、获取训练样本数据，训练样本数据的质量直接决定了高空抛物检测的性能，是十分重要的步骤，具体步骤如下：

S211、收集样本图像，主要收集各种背景干扰场景、各种光线、各种拍摄角度下的高空抛物图像序列。

S212、合成训练样本图像对，在同一个视频场景下，截取任意t秒时长的视频片段，对每一个视频片段，均匀采样，获取10幅图像序列，然后按照通道维度进行拼接，合成训练样本图像对。

S212、标注训练样本图像对，首先，标注所有样本图像对中高空抛物体的位置矩形，获取每一个位置矩形的中心点位置；然后，创建一幅和训练样本图像对分辨率相同的灰度图像，本发明中称为标签图像；接着，将一个训练样本图像对中获取的所有中心点位置累计叠加到标签图像上，把前后相邻图像上的中心点位置用线段连接起来，本发明中把连接后的最终线段称为中心轨迹；最后，通过形态学膨胀和二值化运算，获取增强后的中心轨迹，即是高空抛物体的自由下落轨迹，该中心轨迹就是该样本图像对的轨迹标签，同时，获取中心轨迹的最小外接矩形作为轨迹范围标签。

S22、设计深度神经网络模型的目标损失函数，本发明的轨迹预测主分支是基于语义分割原理实现，其目标损失函数采用的是经典的交叉熵损失函数；轨迹范围预测辅助分支是基于回归分析实现，其目标损失函数采用的均方差(MSE)损失函数。

S23、训练深度神经网络模型，主要是把标注好的训练样本图像对集合送入定义好的深度神经网络模型，学习相关的模型参数；

S3、使用深度神经网络模型，对于任意给出的一个待识别图像对序列(高空抛物图像对序列)，首先，经过深度神经网络模型前向运算后，输出一幅下落轨迹概率图，该图上每一个像素的值表示该点位于高空抛物体下落轨迹上的概率；然后，经过预设的过滤阈值去除干扰点。如果最终的下落轨迹概率图上存在较长的竖直方向连通区域，说明该时间段内存在高空抛物行为。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于时空信息的高空抛物检测方法，其特征在于，包括：

获取待识别图像对序列，所述待识别图像对序列为连续时间内同一个视频场景下的均匀采样图像序列；

将待识别图像对序列输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的下落轨迹概率图；

若所述下落轨迹概率图上存在一定长度的竖直方向连通区域，则该时间段内存在高空抛物行为。

2.根据权利要求1所述的基于时空信息的高空抛物检测方法，其特征在于，在判断所述下落轨迹概率图上存在较长的竖直方向连通区域之前，包括：

对所述下落轨迹概率图通过预设的过滤阈值去除干扰点，得到过滤后的下落轨迹概率图；

对过滤后的下落轨迹概率图判断是否存在较长的竖直方向连通区域。

3.根据权利要求1所述的基于时空信息的高空抛物检测方法，其特征在于，所述深度神经网络模型包括编码网络和解码网络；

所述编码网络包括依次连接的快速下降网络、残差结构体层resblock0、最大值池化层maxpool1和残差结构体层resblock1，待识别图像对序列与快速下降网络的输入端连接，残差结构体层resblock1的输出与解码网络的输入连接。

4.根据权利要求3所述的基于时空信息的高空抛物检测方法，其特征在于，所述残差结构体层resblock0或残差结构体层resblock1均包括卷积层rconv0、卷积层rconv1、合并层eltsum0、合并层eltsum1和卷积层rconv2；

卷积层rconv0的输出和卷积层rconv1的输出连接到合并层eltsum0的输入，合并层eltsum0的输出分别连接到合并层eltsum1的输入、卷积层rconv2的输入，rconv2的输出连接到合并层eltsum1的输入；

在残差结构体层resblock0中，卷积层rconv0的输入和卷积层rconv1的输入均连接到快速下降网络的输出，合并层eltsum1的输出与最大值池化层maxpool1的输入连接；

在残差结构体层resblock1中，卷积层rconv0的输入和卷积层rconv1的输入均连接到最大值池化层maxpool1的输出，合并层eltsum1的输出与解码网络的输入连接；

卷积层rconv1、卷积层rconv2的输出均连接有批量归一化层和非线性激活层。

5.根据权利要求4所述的基于时空信息的高空抛物检测方法，其特征在于，所述快速下降网络包括依次连接的快速下降层FCS、卷积层conv0和最大值池化层maxpool0，快速下降层FCS的输入与待识别图像对序列连接，最大值池化层maxpool0的输出分别与残差结构体层resblock0中的卷积层rconv0的输入、卷积层rconv1的输入连接。

6.根据权利要求5所述的基于时空信息的高空抛物检测方法，其特征在于，所述快速下降层FCS包括依次连接的图像分解层split、拼接层concat和卷积层conv_fds，待识别图像对序列与图像分解层split的输入端连接，卷积层conv_fds的输出与卷积层conv0的输入连接；

卷积层conv0和卷积层conv_fds的输出均连接有批量归一化层和非线性激活层。

7.根据权利要求4所述的基于深度学习的高空抛物检测方法，其特征在于，所述图像分解层split用于将待识别图像对序列中的较大分辨率尺寸的图像，快速分解成若干个较小分辨率尺寸的分解子图，具体分解步骤如下：

计算待识别图像对序列的分解步长，所述分解步长等于split层的跨度；

按照行优先顺序对待识别图像对序列按分解步长进行数字编码，得到编码图像；

对编码图像中相同数字编码的像素进行提取，按照编码图像中的位置顺序连续排列拼接，得到分解子图。

8.根据权利要求4所述的基于时空信息的高空抛物检测方法，其特征在于，所述编码网络还包括用于对已构建完成的深度神经网络模型进行训练时使用的辅助网络aux-net；所述辅助网络aux-net包括依次连接的全局均值池化层ave-pool和全连接层fc，全局均值池化层ave-pool的输入连接到残差结构体层resblock1中合并层eltsum1的输出。

9.根据权利要求6所述的基于时空信息的高空抛物检测方法，其特征在于，所述解码网络包括依次连接的卷积层conv1、上采样层upsample0、特征图相加层sum0、卷积层conv2、上采样层upsample1、特征图相加层sum1、卷积层conv3、上采样层upsample2、特征图相加层sum2、卷积层conv4、卷积层conv5、激活函数层sigmod，卷积层conv1的输入与残差结构体层resblock1中合并层eltsum1的输出连接，激活函数层sigmo用于输出下落轨迹概率图的特征图像；

特征图相加层sum0的输入与残差结构体层resblock0中合并层eltsum1的输出连接，特征图相加层sum1的输入与卷积层conv0的输出连接，特征图相加层sum2的输入与快速下降层FCS中卷积层conv_fds的输出连接；

卷积层conv1、卷积层conv2、卷积层conv3、卷积层conv4、卷积层conv5的输出均连接有批量归一化层和非线性激活层。

10.根据权利要求1-8任一所述的基于时空信息的高空抛物检测方法，其特征在于，所述深度神经网络模型的训练步骤包括：

获取训练样本图像对，所述训练样本图像对为多个样本图像按照通道维度进行拼接合成的图像，所述多个样本图像为在设定时间内同一视频场景下的多个依次连续的图像；

对训练样本图像对中的样本图像均标注出高空抛物体的位置矩形，获取每一个位置矩形的中心点位置；

根据中心点位置计算该样本图像对轨迹范围标签；

设计所述深度神经网络模型的目标损失函数，得到定义好的深度神经网络模型；

将所述样本图像训练集输入至定义好的深度神经网络模型进行训练，得到所述预先训练后的深度神经网络模型。

Images