CN112330743A - 一种基于深度学习的高空抛物检测方法 - Google Patents

一种基于深度学习的高空抛物检测方法 Download PDF

Info

Publication number
CN112330743A
CN112330743A CN202011230338.8A CN202011230338A CN112330743A CN 112330743 A CN112330743 A CN 112330743A CN 202011230338 A CN202011230338 A CN 202011230338A CN 112330743 A CN112330743 A CN 112330743A
Authority
CN
China
Prior art keywords
layer
altitude parabolic
image
grid
altitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011230338.8A
Other languages
English (en)
Other versions
CN112330743B (zh
Inventor
张卡
何佳
戴亮亮
尼秀明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Qingxin Internet Information Technology Co ltd
Original Assignee
Anhui Qingxin Internet Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Qingxin Internet Information Technology Co ltd filed Critical Anhui Qingxin Internet Information Technology Co ltd
Priority to CN202011230338.8A priority Critical patent/CN112330743B/zh
Publication of CN112330743A publication Critical patent/CN112330743A/zh
Application granted granted Critical
Publication of CN112330743B publication Critical patent/CN112330743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的高空抛物检测方法，涉及高空抛物检测技术领域，包括：将待识别图像输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的位置，所述深度神经网络模型包括主干网络和预测网络，根据高空抛物体位置轨迹，判断是否存在高空抛物行为；本发明采用高效的主干网络，运行速度更快，可以准确定位高空抛物体的位置。

Description

一种基于深度学习的高空抛物检测方法
技术领域
本发明涉及城市公共安全技术领域，尤其涉及一种基于深度学习的高空抛物检测方法。
背景技术
随着居民生活现代化进程的推进，越来越多的高楼大厦拔地而起，被称为“悬在城市上空的痛”的高空抛物现象越发增多，高空抛物一直以来都备受关注，因为它不仅是不文明行为，而且给城市安全带来的巨大威胁。由于高空抛物发生场所多为高空楼层，少有目击者，抛物时间短，使得执法部门很难追究抛物者的法律责任。《中华人民共和国侵权责任法》第八十七条规定：从建筑物中抛掷物品或者从建筑物上坠落的物品造成他人损害，难以确定具体侵权人的，除能够证明自己不是侵权人的外，由可能加害的建筑物使用人给予补偿，即是在找不到真正肇事人时，高空抛物造成后果的责任由大家分摊。因此，高空抛物行为的监控仍然是当下的难点。
目前，监控高空抛物行为的主要方法有以下几种：
1、人力监控：主要是依靠小区或园区的物业安保人员不定时巡逻，发现高空抛物行为及时制止，或在高空抛物经常发生的地段张贴警示标语等。该类方法的缺点是耗费大量人力，无法引起足够的重视，起到的效果十分有限。
2、基于机器视觉的监控：主要是在地面上安装一台摄像机，实时拍摄整栋楼画面，通过机器视觉的方法检测是否存在高空抛物行为。常用的机器视觉方法有背景建模法、帧差法等。该类方法的缺点是易受外界环境和自身硬件设备干扰，误检误报较多。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于深度学习的高空抛物检测方法，采用高效的主干网络，运行速度更快，可以准确定位高空抛物体的位置。
本发明提出的一种基于深度学习的高空抛物检测方法，包括：
获取待识别图像；
将待识别图像输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的位置；
根据高空抛物体位置轨迹，判断是否存在高空抛物行为。
进一步地，在根据高空抛物体位置轨迹，判断是否存在高空抛物行为中，包括：
采用最小二乘拟合法对位置轨迹信息是否符合物体自由下落的自然轨迹进行拟合，获取拟合后的位置轨迹；
判断所述拟合后的位置轨迹是否符合物体自由下落的自然轨迹；
若符合，则存在高空抛物；
若不符合，则不存在高空抛物。
进一步地，所述深度神经网络模型包括主干网络和预测网络；所述主干网络包括依次连接的快速下降层FDS、卷积层conv0、最大值池化层maxpool0、卷积层conv1和卷积层conv2，待识别图像与快速下降层FDS的输入端连接，卷积层conv2的输出与预测网络的输入连接；
卷积层conv0、卷积层conv1和卷积层conv2的输出均连接有批量归一化层和非线性激活层。
进一步地，所述快速下降层FDS包括依次连接的图像分解层split、拼接层concat和卷积层conv_fds，待识别图像与图像分解层split的输入端连接，卷积层conv_fds的输出与卷积层conv0的输入连接；
卷积层conv_fds的输出连接有批量归一化层和非线性激活层。
进一步地，所述图像分解层split用于将一幅较大的待识别图像，分解成若干个较小的分解子图，具体分解步骤如下：
计算待识别图像的分解步长，所述分解步长等于split层的跨度；
对待识别图像进行均匀网格划分，得到多个网格子图，其中，每个网格的宽高尺寸等于分解步长；
对每一个网格子图，按照行优先顺序进行数字编码，得到编码后的网格子图；
对每个编码后网格子图中相同数字编码的像素进行提取，按照网格编码顺序排列拼接，形成新的子图，新的子图作为分解子图。
进一步地，所述预测网络包括网格化层grid、局部特征提取层extract、全局均值池化层ave-pool、全连接层fc0和全连接层fc1；
网格化层grid、局部特征提取层extract和全局均值池化层ave-pool依次连接后，网格化层grid的输入与卷积层conv2的输出连接，全局均值池化层ave-pool的输出分别连接到全连接层fc0的输入和全连接层fc1的输入。
进一步地，所述网格化层grid为网格化层，用于将卷积层conv2输出的特征图均匀划分成64个网格，每一个网格对应conv2输出特征图中的一个局部特征图区域。
进一步地，所述局部特征提取层extract基于roi pool原理，用于获取网格化层grid输出的每一个局部特征图区域对应的特征。
进一步地，所述深度神经网络模型的训练步骤包括：
获取训练样本图像，训练样本图像中的每个样本图像均标注出高空抛物体的位置矩形；
对标注后的样本图像进行网格划分，获取高空抛物体的位置矩形对应的网格区域；
选择同一个视频场景下相邻T帧的前后帧两幅图像，合成训练样本图像对；
设计所述深度神经网络模型的目标损失函数，得到定义好的深度神经网络模型，该目标损失函数包括用于预测高空抛物体分支的目标损失函数和用于预测高空抛物体位置矩形分支的目标损失函数；
将所述样本图像训练集输入至定义好的深度神经网络模型进行训练，得到所述预先训练后的深度神经网络模型。
进一步地，所述用于预测高空抛物体的目标损失函数采用经典的交叉熵损失函数，所述用于预测高空抛物体位置矩形分支的目标损失函数采用经典的均方差损失函数。
本发明提供的一种基于深度学习的高空抛物检测方法的优点在于：本发明结构中提供的一种基于深度学习的高空抛物检测方法，采用深度学习技术，准确判断是否有高空抛物体存在，同时可以综合利用多帧图像之间的运动信息和背景信息，准确定位高空抛物体的位置，进而判断是否存在高空抛物行为；同时本申请可以抵抗光线变化、背景物体运动干扰，鲁棒性更强；采用高效的主干网络，运行速度更快；网络端到端训练，模型使用更加方便。
附图说明
图1为本发明的步骤流程图；
图2为本发明方案整体流程图；
图3为深度神经网络模型结构图；
图4为FDS层网络结构图；
图5是单张待识别图像split层分解原理图，其中图(a)表示编码网格图像，图(b)表示分解子图；
具体实施方式
下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
如图1所示，本发明提出的一种基于深度学习的高空抛物检测方法，包括如下步骤S100至S300：
S100：获取待识别图像；
S200：将待识别图像输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的位置；
S300：根据高空抛物体位置轨迹，判断是否存在高空抛物行为。
因此本发明采用深度学习技术，可以准确判断是否有高空抛物体存在，同时可以综合利用多帧图像之间的运动信息和背景信息，准确定位高空抛物体的位置，进而判断是否存在高空抛物行为。同时本申请可以抵抗光线变化、背景物体运动干扰，鲁棒性更强。
在上述对待识别图像进行是否存在高空抛物体检测之前，还需对深度神经网络模型进行构建及训练，然后利用训练好的深度神经网络模型进行是否存在高空抛物体的检测，整体方案如图2所示：
首先摄像机安装在距离楼宇20米到50米的地面上，以仰视姿势拍摄被监控楼宇的若干楼层外表面，需确保采集的图像中，可以清晰的看到较小的高空抛物体，因此，对输入图像分辨率要求较高，本发明为方便叙述，采用分辨率为1280x1280的输入图像(待识别图像)作为例图。
如图2所示，具体的步骤如下：
S1、设计深度神经网络模型，众所周知，在实际应用场景下，受光线变化、拍摄角度、树叶摆动、窗户阳台挂件的影响，在摄像机的监控画面上会出现很多干扰运动物体，严重影响高空抛物体的检测，使用现有的机器视觉方法很难进行准确的抛物体定位，因此，本发明提出一种基于深度学习的高空抛物检测方法，该方法采用深度学习技术，通过借助一个设计的深度神经网络模型，自适应的定位出抛物体的位置，抛物体定位结果十分的精确和鲁棒。本发明使用卷积神经网络(Convolutional Neural Networks，CNN)进行深度神经网络模型设计，为了方便叙述本发明，定义一些术语：特征图分辨率指的是特征图高度×特征图宽度，特征图尺寸指的是特征图高度×特征图宽度×特征图通道数，核尺寸指的是核宽度×核高度，跨度指的是宽度方向跨度×高度方向跨度，另外，每一个卷积层后面均带有批量归一化层和非线性激活层。本发明设计的深度神经网络模型，其具体网络结构如图3所示，设计过程分为以下步骤：
S11、设计深度神经网络模型的输入图像，本发明需要具有监控较小高空抛物体的能力，对输入图像分辨率要求较高，输入图像包括两幅3通道RGB图像，其中，两幅3通道RGB图像分别表示当前帧图像和之前某帧图像。
S12、设计深度神经网络模型的主干网络，主干网络主要用来提取输入图像的深层语义特征，是整个深度神经网络模型中运算操作最密集的部分，直接决定了深度神经网络模型的性能。由步骤S11可知，本发明采用的输入图像尺寸较大，不利于深度神经网络模型的快速运行，因此，需要一种能够快速提取输入图像特征的高效网络，本发明设计的主干网络如图3所示，所述主干网络包括依次连接的快速下降层FDS、卷积层conv0、最大值池化层maxpool0、卷积层conv1和卷积层conv2，待识别图像与快速快速下降层FDS的输入连接，卷积层conv2的输出与预测网络的输入连接。
其中，FDS(fast downsample)层是特征图分辨率快速下降层；conv0是一个核尺寸是7×7，跨度是2×2的卷积层；maxpool0层是一个核尺寸为2×2，跨度为2×2的最大值池化层；FDS层、conv0层和maxpool0层共同组成了一个特征图分辨率快速下降网络，主要作用是在保留更多图像细节的同时，快速降低特征图分辨率，减少后续操作的运算量；conv1层是一个核尺寸为3x3，跨度为2x2的卷积层；conv2层是一个核尺寸为3x3，跨度为1x1的卷积层。
FDS层的具体结构如图4所示，所述快速下降层FDS包括依次连接的图像分解层split、拼接层concat和卷积层conv_fds，待识别图像与图像分解层split的输入连接，卷积层conv_fds的输出与卷积层conv0的输入连接，其中，concat层是按通道维度进行拼接的拼接层；conv_fds层是一个核尺寸为1x1，跨度为1x1的卷积层，主要用于融合拼接图像；split层是图像分解层，主要作用是把一幅较大的输入特征图，分解成若干个较小的分解子图，具体分解方法如下：
S121、计算分解步长，本发明中，分解步长等于split层的跨度，即输入特征图的宽高和输出特征图的宽高的比值，本发明中，宽高方向的分解步长均为4。
S122、获取网格化图像，主要是对待识别图像进行均匀网格划分，得到多个网格子图，每个网格的宽高尺寸等于步骤S121获取的宽高方向的分解步长，示意图如图5(a)所示。
S123、编码网格图像，主要是对步骤S122中获取的每一个网格子图，按照行优先顺序进行数字编码，编码数字的范围是1-16，示意图如图5(a)所示。
S124、获取分解子图，主要是基于步骤S123获取的所有数字编码网格子图，把每一个网格子图中，相同数字编码的像素取出来，按照网格顺序排列拼接，形成新的子图，即是分解子图，示意图如图5(b)所示。
S13、设计深度神经网络模型的预测网络，预测网络主要利用主干网络输出的深层语义特征，预测是否存在高空抛物体以及抛物体的位置。具体网络结构如图3所示，所述预测网络包括网格化层grid、局部特征提取层extract、全局均值池化层ave-pool、全连接层fc0和全连接层fc1；网格化层grid、局部特征提取层extract和全局均值池化层ave-pool依次连接后，网格化层grid的输入与卷积层conv2的输出连接，全局均值池化层ave-pool的输出分别连接到全连接层fc0的输入和全连接层fc1的输入。
其中，grid层是一个网格化层，主要作用是把输入特征图(主干网络输出的特征图)均匀划分成64个网格，每一个网格表示一个特征图局部区域，在输入待识别图像上对应一个固定位置的局部区域；extract层是局部特征提取层，主要是基于常用的roi pool原理，获取grid层输出的每一个局部特征图区域对应的特征；ave-pool层是一个全局均值池化层；fc0层是一个输出为2维的全连接层，其输出向量表示当前局部特征图对应的输入待识别图像局部区域是否存在高空抛物体；fc1层是一个输出为4维的全连接层，其输出向量表示当前局部特征图对应的输入待识别图像局部区域中，高空抛物体的位置。
S2、训练深度神经网络模型，主要是通过大量的标注好的训练样本数据，优化深度神经网络模型参数，使得深度神经网络模型检测性能最优，具体的步骤如下：
S21、获取训练样本图像，训练样本图像的质量直接决定了高空抛物检测的性能，是十分重要的步骤，具体步骤如下：
S211、收集样本图像，主要收集各种背景干扰场景、各种光线、各种拍摄角度下的高空抛物图像序列。
S212、标注样本图像，首先，标注样本图像中高空抛物体的位置矩形；然后，把样本图像均匀划分成64个网格，统计高空抛物体的位置矩形相对于64个网格的分布情况，如果某个高空抛物体位置矩形中心落入某个网格区域内，则该网格区域以及对应的局部特征负责预测该高空抛物体的位置，此时高空抛物体的位置矩形标注信息，转变成该高空抛物体的位置矩形中心相对于该网格左上角的偏移量，本发明中，高空抛物体位置采用4维向量表示，其形式是[x，y，w，h]，x，y分别表示高空抛物体位置矩形中心相对于某个网格左上角点的x方向偏移量和y方向偏移量，w，h分别表示高空抛物体的宽度和高度。
S213、合成训练样本图像对，在同一个视频场景下，选择相邻T帧的前后帧两幅图像，合成训练样本图像对，在合成的训练样本图像对中，第一幅图像表示之前某帧图像，第二幅图像表示当前帧图像，训练时忽略第一幅图像的标注信息，只使用第二幅图像的标注信息进行高空抛物体的位置训练，其中，第一幅图像为第二幅图像提供额外的帧间信息，辅助进行目标检测。
S22、设计深度神经网络模型的目标损失函数，预测高空抛物体是否存在分支的目标损失函数采用的是经典的交叉熵损失函数，预测高空抛物体位置矩形分支的目标损失函数采用的是经典的均方差损失函数。
S23、训练深度神经网络模型，主要是把标注好的高空抛物体样本图像对集合送入定义好的深度神经网络模型，学习相关的模型参数；
S3、使用深度神经网络模型，对于任意给出的一幅高空抛物体图像，首先，经过深度神经网络模型前向运算后，分别输出图像上每一个网格区域内是否存在高空抛物体，以及高空抛物体在该网格里的位置；然后，统计一段时间内的高空抛物体位置信息，采用最小二乘拟合算法，判断该时间段内的高空抛物体位置累计信息是否符合物体自由下落的自然轨迹，进而判断是否存在高空抛物行为。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的高空抛物检测方法，包括：
获取待识别图像；
将待识别图像输入到预先训练好的深度神经网络模型中进行前向运算，获取高空抛物体的位置；
根据高空抛物体位置轨迹，判断是否存在高空抛物行为。
2.根据权利要求1所述的基于深度学习的高空抛物检测方法，其特征在于，在根据高空抛物体位置轨迹，判断是否存在高空抛物行为中，包括：
采用最小二乘拟合法对位置轨迹信息是否符合物体自由下落的自然轨迹进行拟合，获取拟合后的位置轨迹；
判断所述拟合后的位置轨迹是否符合物体自由下落的自然轨迹；
若符合，则存在高空抛物；
若不符合，则不存在高空抛物。
3.根据权利要求1所述的基于深度学习的高空抛物检测方法，其特征在于，所述深度神经网络模型包括主干网络和预测网络；
所述主干网络包括依次连接的快速下降层FDS、卷积层conv0、最大值池化层maxpool0、卷积层conv1和卷积层conv2，待识别图像与快速下降层FDS的输入端连接，卷积层conv2的输出与预测网络的输入连接；
卷积层conv0、卷积层conv1和卷积层conv2的输出均连接有批量归一化层和非线性激活层。
4.根据权利要求3所述的基于深度学习的高空抛物检测方法，其特征在于，所述快速下降层FDS包括依次连接的图像分解层split、拼接层concat和卷积层conv_fds，待识别图像与图像分解层split的输入端连接，卷积层conv_fds的输出与卷积层conv0的输入连接；
卷积层conv_fds的输出连接有批量归一化层和非线性激活层。
5.根据权利要求4所述的基于深度学习的高空抛物检测方法，其特征在于，所述图像分解层split用于将一幅较大的待识别图像，分解成若干个较小的分解子图，具体分解步骤如下：
计算待识别图像的分解步长，所述分解步长等于split层的跨度；
对待识别图像进行均匀网格划分，得到多个网格子图，其中，每个网格的宽高尺寸等于分解步长；
对每一个网格子图，按照行优先顺序进行数字编码，得到编码后的网格子图；
对每个编码后网格子图中相同数字编码的像素进行提取，按照网格编码顺序排列拼接，形成新的子图，新的子图作为分解子图。
6.根据权利要求3所述的基于深度学习的高空抛物检测方法，其特征在于，所述预测网络包括网格化层grid、局部特征提取层extract、全局均值池化层ave-pool、全连接层fc0和全连接层fc1；
网格化层grid、局部特征提取层extract和全局均值池化层ave-pool依次连接后，网格化层grid的输入与卷积层conv2的输出连接，全局均值池化层ave-pool的输出分别连接到全连接层fc0的输入和全连接层fc1的输入。
7.根据权利要求6所述的基于深度学习的高空抛物检测方法，其特征在于，所述网格化层grid为网格化层，用于将卷积层conv2输出的特征图均匀划分成64个网格，每一个网格对应卷积层conv2输出特征图中的一个局部特征图区域。
8.根据权利要求7所述的基于深度学习的高空抛物检测方法，其特征在于，所述局部特征提取层extract基于roi pool原理，用于获取网格化层grid输出的每一个局部特征图区域对应的特征。
9.根据权利要求1-8任一所述的基于深度学习的高空抛物检测方法，其特征在于，所述深度神经网络模型的训练步骤包括：
获取训练样本图像，训练样本图像中的每个样本图像均标注出高空抛物体的位置矩形；
对标注后的样本图像进行网格划分，获取高空抛物体的位置矩形对应的网格区域；
选择同一个视频场景下相邻T帧的前后帧两幅图像，合成训练样本图像对；
设计所述深度神经网络模型的目标损失函数，得到定义好的深度神经网络模型，该目标损失函数包括用于预测高空抛物体分支的目标损失函数和用于预测高空抛物体位置矩形分支的目标损失函数；
将所述样本图像训练集输入至定义好的深度神经网络模型进行训练，得到所述预先训练后的深度神经网络模型。
10.根据权利要求9所述的基于深度学习的高空抛物检测方法，其特征在于，所述用于预测高空抛物体的目标损失函数采用经典的交叉熵损失函数，所述用于预测高空抛物体位置矩形分支的目标损失函数采用经典的均方差损失函数。
CN202011230338.8A 2020-11-06 2020-11-06 一种基于深度学习的高空抛物检测方法 Active CN112330743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011230338.8A CN112330743B (zh) 2020-11-06 2020-11-06 一种基于深度学习的高空抛物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011230338.8A CN112330743B (zh) 2020-11-06 2020-11-06 一种基于深度学习的高空抛物检测方法

Publications (2)

Publication Number Publication Date
CN112330743A true CN112330743A (zh) 2021-02-05
CN112330743B CN112330743B (zh) 2023-03-10

Family

ID=74316289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011230338.8A Active CN112330743B (zh) 2020-11-06 2020-11-06 一种基于深度学习的高空抛物检测方法

Country Status (1)

Country Link
CN (1) CN112330743B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163121A (zh) * 2021-04-21 2021-07-23 安徽清新互联信息科技有限公司 一种视频防抖方法及可读存储介质
CN113163120A (zh) * 2021-04-21 2021-07-23 安徽清新互联信息科技有限公司 一种基于transformer的视频防抖方法
CN115719362A (zh) * 2022-05-31 2023-02-28 海纳云物联科技有限公司 一种高空抛物检测方法、系统、设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145889A (zh) * 2017-04-14 2017-09-08 中国人民解放军国防科学技术大学 基于具有RoI池化的双CNN网络的目标识别方法
CN107871126A (zh) * 2017-11-22 2018-04-03 西安翔迅科技有限责任公司 基于深层神经网络的车型识别方法和系统
CN109508663A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于多层次监督网络的行人重识别方法
CN109658442A (zh) * 2018-12-21 2019-04-19 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
CN110298410A (zh) * 2019-07-04 2019-10-01 北京维联众诚科技有限公司 基于深度学习的低对比度图像中弱目标检测方法及装置
CN110796087A (zh) * 2019-10-30 2020-02-14 江西赣鄱云新型智慧城市技术研究有限公司 一种高空抛物训练样本快速生成方法与系统
CN110853295A (zh) * 2019-11-12 2020-02-28 江西赣鄱云新型智慧城市技术研究有限公司 一种高空抛物预警方法和装置
CN110910415A (zh) * 2019-11-28 2020-03-24 重庆中星微人工智能芯片技术有限公司 抛物检测方法、装置、服务器和计算机可读介质
CN111027539A (zh) * 2019-10-17 2020-04-17 安徽清新互联信息科技有限公司 一种基于空间位置信息的车牌字符分割方法
CN111242023A (zh) * 2020-01-11 2020-06-05 上海悠络客电子科技股份有限公司 一种适用于复杂光线客流统计方法及统计装置
CN111401311A (zh) * 2020-04-09 2020-07-10 苏州海赛人工智能有限公司 一种基于图像检测的高空抛物识别方法
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN111582349A (zh) * 2020-04-30 2020-08-25 陕西师范大学 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN111723654A (zh) * 2020-05-12 2020-09-29 中国电子系统技术有限公司 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
WO2020215793A1 (zh) * 2019-04-23 2020-10-29 深圳先进技术研究院 一种城市聚集事件预测与定位方法及装置
US10827157B1 (en) * 2019-05-10 2020-11-03 Gopro, Inc. Generating videos with short audio

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145889A (zh) * 2017-04-14 2017-09-08 中国人民解放军国防科学技术大学 基于具有RoI池化的双CNN网络的目标识别方法
CN107871126A (zh) * 2017-11-22 2018-04-03 西安翔迅科技有限责任公司 基于深层神经网络的车型识别方法和系统
CN109508663A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于多层次监督网络的行人重识别方法
CN109658442A (zh) * 2018-12-21 2019-04-19 广东工业大学 多目标跟踪方法、装置、设备及计算机可读存储介质
CN109872341A (zh) * 2019-01-14 2019-06-11 中建三局智能技术有限公司 一种基于计算机视觉的高空抛物检测方法与系统
WO2020215793A1 (zh) * 2019-04-23 2020-10-29 深圳先进技术研究院 一种城市聚集事件预测与定位方法及装置
US10827157B1 (en) * 2019-05-10 2020-11-03 Gopro, Inc. Generating videos with short audio
CN110298410A (zh) * 2019-07-04 2019-10-01 北京维联众诚科技有限公司 基于深度学习的低对比度图像中弱目标检测方法及装置
CN111027539A (zh) * 2019-10-17 2020-04-17 安徽清新互联信息科技有限公司 一种基于空间位置信息的车牌字符分割方法
CN110796087A (zh) * 2019-10-30 2020-02-14 江西赣鄱云新型智慧城市技术研究有限公司 一种高空抛物训练样本快速生成方法与系统
CN110853295A (zh) * 2019-11-12 2020-02-28 江西赣鄱云新型智慧城市技术研究有限公司 一种高空抛物预警方法和装置
CN110910415A (zh) * 2019-11-28 2020-03-24 重庆中星微人工智能芯片技术有限公司 抛物检测方法、装置、服务器和计算机可读介质
CN111242023A (zh) * 2020-01-11 2020-06-05 上海悠络客电子科技股份有限公司 一种适用于复杂光线客流统计方法及统计装置
CN111401311A (zh) * 2020-04-09 2020-07-10 苏州海赛人工智能有限公司 一种基于图像检测的高空抛物识别方法
CN111553274A (zh) * 2020-04-28 2020-08-18 青岛聚好联科技有限公司 一种基于轨迹分析的高空抛物检测方法及装置
CN111582349A (zh) * 2020-04-30 2020-08-25 陕西师范大学 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN111723654A (zh) * 2020-05-12 2020-09-29 中国电子系统技术有限公司 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOTAO ZHONG等: "Hazard analysis: A deep learning and text mining framework for accident prevention", 《ADVANCED ENGINEERING INFORMATICS》 *
陈硕: "监控视频结构化分析的研究与系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163121A (zh) * 2021-04-21 2021-07-23 安徽清新互联信息科技有限公司 一种视频防抖方法及可读存储介质
CN113163120A (zh) * 2021-04-21 2021-07-23 安徽清新互联信息科技有限公司 一种基于transformer的视频防抖方法
CN115719362A (zh) * 2022-05-31 2023-02-28 海纳云物联科技有限公司 一种高空抛物检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112330743B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN112308000B (zh) 一种基于时空信息的高空抛物检测方法
CN112287816B (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN111860318A (zh) 一种建筑工地行人徘徊检测方法、装置、设备及存储介质
CN112330743B (zh) 一种基于深度学习的高空抛物检测方法
CN111079722B (zh) 一种吊装过程人员安全监测方法及系统
CN113887412B (zh) 污染排放的检测方法、检测终端、监控系统及存储介质
CN103069434A (zh) 多模式视频事件索引
CN113409362B (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN110781964A (zh) 一种基于视频图像的人体目标检测方法及系统
CN112200089B (zh) 一种基于车辆计数感知注意力的稠密车辆检测方法
CN104820995A (zh) 一种面向大型公共场所的人流密度监测预警方法
CN113963301A (zh) 一种时空特征融合的视频火灾烟雾探测方法及系统
WO2014063524A1 (zh) 一种检测摄像机是否被干扰的方法、装置及视频监控系统
CN112232316B (zh) 人群聚集检测方法、装置、电子设备及存储介质
CN114267082A (zh) 基于深度理解的桥侧坠落行为识别方法
CN112487874A (zh) 一种基于事件相机消除背景噪声的方法及系统
CN113642403A (zh) 基于边缘计算的人群异动智能安全检测系统
CN116229347A (zh) 一种人群安全异常事件识别方法
CN116311071A (zh) 一种融合帧差和ca的变电站周界异物识别方法及系统
Guo et al. Overlapped pedestrian detection based on yolov5 in crowded scenes
CN112861762A (zh) 基于生成对抗网络的铁路道口异常事件检测方法及系统
CN117253120A (zh) 火灾的识别方法、装置及存储介质
CN115909144A (zh) 一种基于对抗学习的监控视频异常检测方法及系统
Jensen et al. Swimming pool occupancy analysis using deep learning on low quality video
CN112505740B (zh) 一种核辐射探测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant