CN111931719B - 高空抛物检测方法以及装置 - Google Patents

高空抛物检测方法以及装置 Download PDF

Info

Publication number
CN111931719B
CN111931719B CN202011004196.3A CN202011004196A CN111931719B CN 111931719 B CN111931719 B CN 111931719B CN 202011004196 A CN202011004196 A CN 202011004196A CN 111931719 B CN111931719 B CN 111931719B
Authority
CN
China
Prior art keywords
neural network
network model
target object
convolutional neural
altitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011004196.3A
Other languages
English (en)
Other versions
CN111931719A (zh
Inventor
肖潇
章勇
曹李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202011004196.3A priority Critical patent/CN111931719B/zh
Publication of CN111931719A publication Critical patent/CN111931719A/zh
Application granted granted Critical
Publication of CN111931719B publication Critical patent/CN111931719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种高空抛物检测方法以及装置，高空抛物检测方法包括：将视频中的多帧图像输入一经训练的高空抛物检测模型中，所述高空抛物检测模型包括串联的卷积神经网络模型以及循环神经网络模型，所述卷积神经网络模型用于识别高空物体，所述循环神经网络模型用于检测所述卷积神经网络模型识别的高空物体是否为高空抛物；根据所述高空抛物检测模型检测出所述视频中是否存在高空抛物。本发明提供的方法及装置提高高空抛物检测的鲁棒性和抗干扰能力，且提高检测准确率。

Description

高空抛物检测方法以及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种高空抛物检测方法以及装置。
背景技术
随着国内商品化小区和高层写字楼数量的日益增加，入驻人群素质的高低参差不齐，高空抛物的现象屡次发生，进而对行人、公共设施和公共环境产生较大的影响和威胁。
因此，对高空抛物检测告警的应用需求日益旺盛，得益于高倍相机成像的日渐发展，和深度学习、AI智能的迅猛发展，能够对高层监控中的高空抛物进行告警检测，尤其是在及时监控、及时报警、事后追责的时候，成为极其重要的证据链部分，既为人员的生命财产安全提供了坚实的保障，降低安全管理的难度，同样也在法律方面提供了证据支撑。
传统算法的报警检测方法需要人工设计较多单独的模块，例如预处理方法、检测方法、跟踪方法等，才能够保证一定的报警检测率。然而，传统的算法普遍鲁棒性比较差，抗干扰能力差。
因此，如何实现提高高空抛物检测的鲁棒性和抗干扰能力，且提高检测准确率是本领域亟待解决的技术问题。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种高空抛物检测方法以及装置，提高高空抛物检测的鲁棒性和抗干扰能力，且提高检测准确率。
根据本发明的一个方面，提供一种高空抛物检测方法，包括：
将视频中的多帧图像输入一经训练的高空抛物检测模型中，所述高空抛物检测模型包括串联的卷积神经网络模型以及循环神经网络模型，所述卷积神经网络模型用于识别高空物体，所述循环神经网络模型用于检测所述卷积神经网络模型识别的高空物体是否为高空抛物；
根据所述高空抛物检测模型检测出所述视频中是否存在高空抛物。
在本发明的一些实施例中，所述高空抛物检测模型通过如下步骤训练：
生成训练样本，所述训练样本中的每一样本包括样本图像、样本图像中的目标物体的目标类型、样本图像中的目标物体是否为高空抛物、样本图像中的目标物体的中心点热度图以及样本图像中的目标物体的位置热度图，所述热度图为所述目标物体的视焦点的高斯热力分布；
以所述样本图像、样本图像中的目标物体的目标类型、样本图像中的目标物体的中心点热度图以及样本图像中的目标物体的位置热度图训练所述卷积神经网络模型，使得所述卷积神经网络模型预测目标物体的目标类型以及目标物体的位置热度图；
以所述样本图像中的目标物体的位置热度图以及样本图像中的目标物体是否为高空抛物训练所述循环神经网络模型；
串联经训练的所述卷积神经网络模型以及所述循环神经网络模型以进行联合训练。
在本发明的一些实施例中，所述样本图像中的目标物体具有多边形目标框，所述目标物体的位置热度图包括所述目标物体的多边形目标框的各角点的热度图。
在本发明的一些实施例中，所述卷积神经网络模型包括用于预测目标物体的目标类型的第一分支网络以及预测目标物体的位置热度图的第二分支网络，其中，所述第一分支网络采用Focal loss损失函数进行迭代训练，所述第二分支网络采用smooth L1损失函数进行迭代训练。
在本发明的一些实施例中，所述循环神经网络模型采用二分类交叉熵损失函数进行迭代训练。
在本发明的一些实施例中，所述串联经训练的所述卷积神经网络模型以及所述循环神经网络模型以进行联合训练包括：
将经训练的所述卷积神经网络模型预测的位置热度图输入经训练的所述循环神经网络模型，以对所述经训练的所述循环神经网络模型进行修正。
在本发明的一些实施例中，所述串联经训练的所述卷积神经网络模型以及所述循环神经网络模型以进行联合训练包括：
以设定的学习率对已串联的经训练的所述卷积神经网络模型以及所述循环神经网络模型进行联合训练，所述学习率小于学习率阈值。
在本发明的一些实施例中，所述卷积神经网络模型为基于anchor-free的卷积神经网络模型。
在本发明的一些实施例中，所述循环神经网络模型为基于LSTM的循环神经网络模型。
根据本发明的又一方面，还提供一种高空抛物检测装置，包括：
输入模块，配置成将视频中的多帧图像输入一经训练的高空抛物检测模型中，所述高空抛物检测模型包括串联的卷积神经网络模型以及循环神经网络模型，所述卷积神经网络模型用于识别高空物体，所述循环神经网络模型用于检测所述卷积神经网络模型识别的高空物体是否为高空抛物；
检测模块，配置成根据所述高空抛物检测模型检测出所述视频中是否存在高空抛物。
根据本发明的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
根据本发明的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。
由此可见，本发明提供的方案，与现有技术相比，具有如下优势：
1)利用深度神经网络中的卷积神经网络代替传统算法的部分，提取比较鲁棒的图像特征描述算子，提升检测高空物体的能力；
2)利用深度神经网络中的循环神经网络提取相邻视频帧之间的依赖信息，提高检测高空物体是否为抛物的能力；
3)结合深度神经网络中的卷积神经网络和循环神经网络提取的特征和信息，进行高空抛物检测。
通过上述方案，本发明能够实现高空抛物的检测，提高高空抛物检测的鲁棒性和抗干扰能力，且提高检测准确率。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的高空抛物检测方法的流程图。
图2示出了根据本发明具体实施例的高空抛物检测模型的训练过程的流程图。
图3示出了根据本发明具体实施例的热度图的计算示意图。
图4示出了根据本发明具体实施例的循环神经网络模型的单元结构示意图。
图5示出了根据本发明实施例的高空抛物检测装置的模块图。
图6示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
图7示意性示出本公开示例性实施例中一种电子设备示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。
为了克服上述现有技术存在的缺陷，本发明提供一种高空抛物检测方法以及装置，提高高空抛物检测的鲁棒性和抗干扰能力，且提高检测准确率。
首先参见图1，图1示出了根据本发明实施例的高空抛物检测方法的流程图。图1共示出了如下步骤：
步骤S110：将视频中的多帧图像输入一经训练的高空抛物检测模型中，所述高空抛物检测模型包括串联的卷积神经网络模型以及循环神经网络模型，所述卷积神经网络模型用于识别高空物体，所述循环神经网络模型用于检测所述卷积神经网络模型识别的高空物体是否为高空抛物。
具体而言，本发明各实施例中，所述的“高空”可以是两层楼及多层楼的高度，尤其适用于，五楼以上的高度的高空抛物的检测，本发明并非以此为限制。
具体而言，所述卷积神经网络模型可以是诸如LeNet、AlexNet、VGG、NiN、GooLeNet、ResNet、DenseNet等，本发明并非以此为限制。
在一个优选的实施例中，所述卷积神经网络模型可以是基于anchor-free的卷积神经网络模型。anchor-free的方法由于网络结构简单，在进行部署推理时，在同等分辨率、同等骨干网络的前提下，anchor-free的检测算法推理的速度远远大于基于anchor-based的卷积神经网络模型。因此，在高空抛物这一实时性要求较高的场景中，优选使用基于anchor-free的卷积神经网络模型来识别高空物体。具体而言，基于anchor-free的卷积神经网络模型可以由卷积层、池化层、激活函数层、批归一化层、反卷积层等按照一定顺序组成，本发明并非也以此为限制。
进一步地，在基于anchor-free的卷积神经网络模型中，还包括一归一化层，以对卷积神经网络模型中的输入进行归一化处理。具体而言，可以将卷积神经网络模型中的输入归一成零均值单位方差的数据分布，其计算公式如下：
Figure BDA0002695345900000051
其中，xi为待归一化的数据，x′i是经过归一化处理后的数据，
Figure BDA0002695345900000052
为待归一化的数据的均值，v为待归一化的数据的方差，其计算公式如下：
Figure BDA0002695345900000053
其中，
Figure BDA0002695345900000054
为均值，n为待归一化的数据的数量。归一化处理可以将本层激活值尽量都规约到零均值单位方差的范围上，这样会有助于训练收敛速度。
在本发明的一些实施例中，所述循环神经网络模型可以为基于LSTM的循环神经网络模型、基于GRU的循环神经网络模型、基于双向RNN的循环神经网络模型，本发明并非以此为限制。考虑到在高空抛物的应用中需要大量的数据集进行训练，且对检测结果的实时性要求较高，且LSTM表现出其简单性、高效性、实用性，因此，在一个优选的实施例中，采用基于LSTM的循环神经网络模型来检测所述卷积神经网络模型识别的高空物体是否为高空抛物。
具体而言，基于LSTM的循环神经网络模型的单元结构可以如图4所示。图4中共示出3个单元A，各单元具有相同的结构。如中间的单元所示，第一个单元A自上方箭头向第二个单元A传输第一个单元的状态值Ct-1，第一个单元A自下方箭头向第二个单元A传输第一个单元的输出项ht-1，第二个单元下方显示向第二个单元的输入项xt，输出项ht-1和输入项xt共同经过左下方第一个sigmoid神经网络层(σ)来决定丢弃信息。然后，输出项ht-1和输入项xt共同经过左下方第二个sigmoid神经网络层(σ)来决定什么值将要更新it＝σ(Wi·[ht-1，xt]+bi)。输出项ht-1和输入项xt共同经过下方tanh层来创建一个新的候选值向量
Figure BDA0002695345900000061
然后，使得状态值Ct-1，和丢弃信息ft相乘，再加上
Figure BDA0002695345900000062
获得第二个单元的状态值
Figure BDA0002695345900000063
最后，要确定第二个单元的输出项ht，输出项ht-1和输入项xt共同经过下方第三个sigmoid神经网络层(σ)来确定哪些状态需要输出ot＝σ(Wo[ht-1，xt]+bo)，然后，将获得的值与经过上方tanh层的第二个单元的状态值Ct相乘获得第二个单元的输出项ht，ht＝ot*tanh(Ct)。上述各公式中的W和b为需要通过训练调整的参数。以上仅仅是示意性地描述基于LSTM的循环神经网络模型的单元结构。
步骤S120：根据所述高空抛物检测模型检测出所述视频中是否存在高空抛物。
本发明提供的高空抛物检测方法一方面，利用深度神经网络中的卷积神经网络代替传统算法的部分，提取比较鲁棒的图像特征描述算子，提升检测高空物体的能力；另一方面，利用深度神经网络中的循环神经网络提取相邻视频帧之间的依赖信息，提高检测高空物体是否为抛物的能力；再一方面，结合深度神经网络中的卷积神经网络和循环神经网络提取的特征和信息，进行高空抛物检测。通过上述方案，本发明能够实现高空抛物的检测，提高高空抛物检测的鲁棒性和抗干扰能力，且提高检测准确率。
下面参见图2，图2示出了根据本发明具体实施例的高空抛物检测模型的训练过程的流程图。图2共示出如下步骤：
步骤S210：生成训练样本，所述训练样本中的每一样本包括样本图像、样本图像中的目标物体的目标类型、样本图像中的目标物体是否为高空抛物、样本图像中的目标物体的中心点热度图以及样本图像中的目标物体的位置热度图，所述热度图为所述目标物体的视焦点的高斯热力分布。
具体而言，训练样本中的样本图像可以通过如下方式生成：
首先，收集各种高层建筑的地面俯视相机的不同场景下的大量图片，进行人工标注，使用大量的图片样本数据能够增加网络的鲁棒性。其中，采用数量较多的应用场景样本，对网络的稳定收敛有极大的作用，收集高层建筑场景下，各种不同场景、不同建筑物、不同抛物的图片样本，构成了训练样本集。
然后，对各种场景下的图片样本数据进行尽可能多的增广，丰富训练数据，同样能提升神经网络的泛化能力。具体而言，由于采集的应用场景可能有限，样本分布的非平衡性，因此，可以对训练数据进行合适的增广，来提升数据的丰富性。其中，由于高空抛物应用的特殊性，数据增广可以包括对图像进行随机的位置裁剪，对图像的随机水平翻转，对图像对比度的随机变化等不影响语义的方法。这几种增广可以以独立的概率进行级联，会极大的丰富了训练数据的多样性，提升了训练时模型的稳定性和得到模型的鲁棒性，防止出现训练发散、模型过拟合的现象。
具体而言，可以将目标物体的中心和边缘位置作为视焦点，获得目标物体的高斯热力分布，从而作为目标物体的中心点热度图以及位置热度图。在本发明的一些实施例中，所述样本图像中的目标物体具有多边形目标框，所述目标物体的位置热度图包括所述目标物体的多边形目标框的各角点的热度图。例如，目标框为四边形目标框，则位置热度图包括该目标物体的四边形目标框的四个角点的位置热度图。
下面结合图3描述本发明具体实施例的中心点热度图的高斯半径的计算。如图3所示，实线框为答案框，虚线框(非点划线的虚线框)为预测框(其中，答案框即标注的标签形成的框；预测框即网络最后预测结果形成的框)。目标框的宽为w，高为h，高斯半径为r。高斯半径r根据如下公式计算：
Figure BDA0002695345900000081
Figure BDA0002695345900000082
其中，IOU为答案框和预测框的重合度，可以按需设置(例如可以设置为0.3、0.5等)。由此，根据高斯半径的计算可以将目标物体的中心点作为高斯分布的中心点，获得的中心点热度图越靠近中心点显示越亮，越到边缘显示越暗。以上仅仅是示意性地描述中心点热度图的计算方式，本发明并非此为限制。类似地，各角点的位置热度图也可以按类似的方式计算，在此不予赘述。
具体而言，考虑到中心点热度图更能体现目标物体的中心特征，因此，可以采用中心点热度图来训练卷积神经网络模型以进行目标物体的类型识别；位置热度图能包含更多的目标物体的位置信息，因此，利用位置热度图对循环神经网络进行训练，来根据目标物体的位置信息检测目标物体是否为抛物。
步骤S220：以所述样本图像、样本图像中的目标物体的目标类型、样本图像中的目标物体的中心点热度图以及样本图像中的目标物体的位置热度图训练所述卷积神经网络模型，使得所述卷积神经网络模型预测目标物体的目标类型以及目标物体的位置热度图。
具体而言，所述卷积神经网络模型可以包括用于预测目标物体的目标类型的第一分支网络(可以按需区分动物/非动物；或者可以细化识别物体的具体类别，例如麻雀、鸽子、垃圾袋、箱子等，本发明并非以此为限制)以及预测目标物体的位置热度图的第二分支网络。在本实施例中，采用不同的损失函数来对第一分支网络和第二分支网络进行迭代训练。
进一步地，所述第一分支网络可以采用Focal loss损失函数，以最小化损失函数，从而进行迭代训练。Focal loss损失函数的计算公式为：
FL(pt)＝-αt(1-pt)γlog(pt)
其中，α为类别间(0-1二分类)的权重参数，(1-pt)γ为简单/困难样本调节因子(modulating factor)，而γ则为聚焦参数(focusing parameter)。Focal loss损失函数解决样本类别不平衡以及样本分类难度不平衡等问题。具体而言，本案中，由于包含物体的区域比较少，绝大部分都是背景，因此正负样本是不平衡，而且比例相差还是非常悬殊的，因此，通过Focal loss损失函数，对于预测对的，该损失函数会降低权重，预测错的，该损失函数会提升样本权重，损失函数的注意力转移到比较难预测的样本上，缓解了样本不平衡和关注困难样本。
所述第二分支网络可以采用smooth L1损失函数，以最小化损失函数，从而进行迭代训练。smooth L1损失函数的计算公式为：
Figure BDA0002695345900000091
其中，x为对应的预测和标签的差。smooth L1损失函数是传统L1损失函数光滑后的改进，对异常离群值更加稳定，可以控制梯度，使其不容易跑飞。
步骤S230：以所述样本图像中的目标物体的位置热度图以及样本图像中的目标物体是否为高空抛物训练所述循环神经网络模型。
具体而言，此处所述的样本图像中的目标物体的位置热度图为经过目标物体是否为高空抛物标签的热度图。步骤S230中循环神经网络的输入是经过标签的位置热度图，而非卷积神经网络的预测输出，使用经过标签的位置热度图作为输入的目的是帮助循环神经网络的收敛，防止其震荡发散。
具体而言，所述循环神经网络模型可以采用二分类交叉熵损失函数，以最小化损失函数，从而进行迭代训练。二分类交叉熵损失函数的计算公式为：
Figure BDA0002695345900000092
其中，y为标签，
Figure BDA0002695345900000093
为预测值。由于循环神经网络的收敛是比较困难的，而且这里正负样本比基本可以控制，因此选择了比较容易的标准二分类交叉熵。
步骤S240：串联经训练的所述卷积神经网络模型以及所述循环神经网络模型以进行联合训练。
具体而言，步骤S240可以形成一个完整的神经网络。在推理过程中，是一次性进行推理，不需要有中间操作。
步骤S240可以将连续的视频帧作为串联的经训练的所述卷积神经网络模型以及所述循环神经网络模型输入，以输入至经训练的所述卷积神经网络模型，经训练的所述卷积神经网络模型预测目标物体的类别以及位置热度图。经训练的所述卷积神经网络模型预测的位置热度图输入经训练的所述循环神经网络模型，以对所述经训练的所述循环神经网络模型进行修正。
在上述实施例中，可以以设定的学习率对已串联的经训练的所述卷积神经网络模型以及所述循环神经网络模型进行联合训练，所述学习率小于学习率阈值。学习率阈值可以按需设置，例如设置为0.1、0.05等。因为前述步骤中，前半部分的神经网络模型和后半部分的循环神经网络模型是分开训练的，后半部分的循环神经网络模型之前是用前面神经网络模型的标签图像训练的，这样可以控制循环神经网络模型的输入，不让其他因素干扰到循环神经网络模型。但是当前半部分循环神经网络模型训练收敛后，还是要串联训练，这样使得后半部分的循环神经网络模型能适应到前半部分卷积神经网络模型的输出，有助于提升最后一次性推理的效果。但是因为已经预训练过，所以学习率设置较小。进一步地，上述各迭代训练中，可以随机梯度下降算法(Stochastic gradient descent,SGD)，其中，学习率变化的方式可以为多项式下降的方式，从而提高训练的稳定性和收敛速度。
进一步地，在本发明的一些实施例中，在步骤S120根据所述高空抛物检测模型检测出所述视频中存在高空抛物时，可以生成一告警信息，以对高空抛物进行告警。
经过以上步骤，能够对不同场景、不同环境下的高空抛物检测告警，既保障了人员的生命财产安全，又形成了有力的证据链。
以上示例性地示出本发明的多个实现方式，本发明并非以此为限制，各实施方式中，步骤的增加、省略、顺序变换皆在本发明的保护范围之内；各实施方式可以单独或组合来实现。
下面结合图5描述本发明提供的高空抛物检测装置300。高空抛物检测装置300包括输入模块310以及检测模块320。
输入模块310配置成将视频中的多帧图像输入一经训练的高空抛物检测模型中，所述高空抛物检测模型包括串联的卷积神经网络模型以及循环神经网络模型，所述卷积神经网络模型用于识别高空物体，所述循环神经网络模型用于检测所述卷积神经网络模型识别的高空物体是否为高空抛物。
检测模块320配置成根据所述高空抛物检测模型检测出所述视频中是否存在高空抛物。
本发明提供的高空抛物检测装置中，一方面，利用深度神经网络中的卷积神经网络代替传统算法的部分，提取比较鲁棒的图像特征描述算子，提升检测高空物体的能力；另一方面，利用深度神经网络中的循环神经网络提取相邻视频帧之间的依赖信息，提高检测高空物体是否为抛物的能力；再一方面，结合深度神经网络中的卷积神经网络和循环神经网络提取的特征和信息，进行高空抛物检测。通过上述方案，本发明能够实现高空抛物的检测，提高高空抛物检测的鲁棒性和抗干扰能力，且提高检测准确率。
本发明可以通过软件、硬件、固件及其任意结合的方式实现高空抛物检测装置300。图5仅仅是示意性的示出本发明提供的高空抛物检测装置300，在不违背本发明构思的前提下，模块的拆分、合并、增加都在本发明的保护范围之内。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述高空抛物检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，若所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述高空抛物检测方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适若的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在租户计算设备上执行、部分地在租户设备上执行、作为一个独立的软件包执行、部分在租户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到租户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述高空抛物检测方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述高空抛物检测方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1至图6中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应若明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述高空抛物检测方法。
由此可见，本发明提供的方案，与现有技术相比，具有如下优势：
1)利用深度神经网络中的卷积神经网络代替传统算法的部分，提取比较鲁棒的图像特征描述算子，提升检测高空物体的能力；
2)利用深度神经网络中的循环神经网络提取相邻视频帧之间的依赖信息，提高检测高空物体是否为抛物的能力；
3)结合深度神经网络中的卷积神经网络和循环神经网络提取的特征和信息，进行高空抛物检测。
通过上述方案，本发明能够实现高空抛物的检测，提高高空抛物检测的鲁棒性和抗干扰能力，且提高检测准确率。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种高空抛物检测方法，其特征在于，包括：
将视频中的多帧图像输入一经训练的高空抛物检测模型中，所述高空抛物检测模型包括串联的卷积神经网络模型以及循环神经网络模型，所述卷积神经网络模型用于识别高空物体，所述循环神经网络模型用于检测所述卷积神经网络模型识别的高空物体是否为高空抛物，所述卷积神经网络模型采用目标物体的中心点热度图进行训练，所述卷积神经网络模型预测目标物体的目标类型以及目标物体的位置热度图，所述循环神经网络模型采用所述目标物体的位置热度图进行训练，所述中心点热度图和所述位置热度图为所述目标物体的不同视焦点的高斯热力分布；
根据所述高空抛物检测模型检测出所述视频中是否存在高空抛物。
2.如权利要求1所述的高空抛物检测方法，其特征在于，所述高空抛物检测模型通过如下步骤训练：
生成训练样本，所述训练样本中的每一样本包括样本图像、样本图像中的目标物体的目标类型、样本图像中的目标物体是否为高空抛物、样本图像中的目标物体的中心点热度图以及样本图像中的目标物体的位置热度图；
以所述样本图像、样本图像中的目标物体的目标类型、样本图像中的目标物体的中心点热度图以及样本图像中的目标物体的位置热度图训练所述卷积神经网络模型；
以所述样本图像中的目标物体的位置热度图以及样本图像中的目标物体是否为高空抛物训练所述循环神经网络模型；
串联经训练的所述卷积神经网络模型以及所述循环神经网络模型以进行联合训练。
3.如权利要求2所述的高空抛物检测方法，其特征在于，所述样本图像中的目标物体具有多边形目标框，所述目标物体的位置热度图包括所述目标物体的多边形目标框的各角点的热度图。
4.如权利要求2所述的高空抛物检测方法，其特征在于，所述卷积神经网络模型包括用于预测目标物体的目标类型的第一分支网络以及预测目标物体的位置热度图的第二分支网络，其中，所述第一分支网络采用Focalloss损失函数进行迭代训练，所述第二分支网络采用smooth L1损失函数进行迭代训练。
5.如权利要求2所述的高空抛物检测方法，其特征在于，所述循环神经网络模型采用二分类交叉熵损失函数进行迭代训练。
6.如权利要求2所述的高空抛物检测方法，其特征在于，所述串联经训练的所述卷积神经网络模型以及所述循环神经网络模型以进行联合训练包括：
将经训练的所述卷积神经网络模型预测的位置热度图输入经训练的所述循环神经网络模型，以对所述经训练的所述循环神经网络模型进行修正。
7.如权利要求6所述的高空抛物检测方法，其特征在于，所述串联经训练的所述卷积神经网络模型以及所述循环神经网络模型以进行联合训练包括：
以设定的学习率对已串联的经训练的所述卷积神经网络模型以及所述循环神经网络模型进行联合训练，所述学习率小于学习率阈值。
8.如权利要求1至7任一项所述的高空抛物检测方法，其特征在于，所述卷积神经网络模型为基于anchor-free的卷积神经网络模型。
9.如权利要求1至7任一项所述的高空抛物检测方法，其特征在于，所述循环神经网络模型为基于LSTM的循环神经网络模型。
10.一种高空抛物检测装置，其特征在于，包括：
输入模块，配置成将视频中的多帧图像输入一经训练的高空抛物检测模型中，所述高空抛物检测模型包括串联的卷积神经网络模型以及循环神经网络模型，所述卷积神经网络模型用于识别高空物体，所述循环神经网络模型用于检测所述卷积神经网络模型识别的高空物体是否为高空抛物，所述卷积神经网络模型采用目标物体的中心点热度图进行训练，所述卷积神经网络模型预测目标物体的目标类型以及目标物体的位置热度图，所述循环神经网络模型采用所述目标物体的位置热度图进行训练，所述中心点热度图和所述位置热度图为所述目标物体的不同视焦点的高斯热力分布；
检测模块，配置成根据所述高空抛物检测模型检测出所述视频中是否存在高空抛物。
CN202011004196.3A 2020-09-22 2020-09-22 高空抛物检测方法以及装置 Active CN111931719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011004196.3A CN111931719B (zh) 2020-09-22 2020-09-22 高空抛物检测方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011004196.3A CN111931719B (zh) 2020-09-22 2020-09-22 高空抛物检测方法以及装置

Publications (2)

Publication Number Publication Date
CN111931719A CN111931719A (zh) 2020-11-13
CN111931719B true CN111931719B (zh) 2022-07-22

Family

ID=73333977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011004196.3A Active CN111931719B (zh) 2020-09-22 2020-09-22 高空抛物检测方法以及装置

Country Status (1)

Country Link
CN (1) CN111931719B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418069B (zh) * 2020-11-19 2021-05-11 中科智云科技有限公司 一种高空抛物检测方法、装置、计算机设备及存储介质
CN112733690B (zh) * 2020-12-31 2024-02-20 北京易华录信息技术股份有限公司 一种高空抛物检测方法、装置及电子设备
CN113382202A (zh) * 2021-04-28 2021-09-10 陈兆莉 一种用于物业管理的小区监控系统
CN114998794A (zh) * 2022-05-31 2022-09-02 天翼爱音乐文化科技有限公司 高空抛物识别方法、系统、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation
CN109635083B (zh) * 2018-11-27 2020-11-17 北京科技大学 一种用于搜索ted演讲中话题式查询的文档检索方法
CN109961017A (zh) * 2019-02-26 2019-07-02 杭州电子科技大学 一种基于卷积循环神经网络的心音信号分类方法
CN111368741A (zh) * 2020-03-05 2020-07-03 深学科技(杭州)有限公司 一种高空抛物检测系统
CN111428481A (zh) * 2020-03-26 2020-07-17 南京搜文信息技术有限公司 一种基于深度学习的实体关系抽取方法

Also Published As

Publication number Publication date
CN111931719A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931719B (zh) 高空抛物检测方法以及装置
CN109784293B (zh) 多类目标对象检测方法、装置、电子设备、存储介质
Nikouei et al. Smart surveillance as an edge network service: From harr-cascade, svm to a lightweight cnn
Zhang et al. Deep convolutional neural networks for forest fire detection
CN111178183B (zh) 人脸检测方法及相关装置
US20180114071A1 (en) Method for analysing media content
CN112488073A (zh) 目标检测方法、系统、设备及存储介质
US20180150928A1 (en) Cognitive recommendations for first responders
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
CN111046956A (zh) 遮挡图像检测方法、装置、电子设备及存储介质
Cheng et al. Smoke detection and trend prediction method based on Deeplabv3+ and generative adversarial network
CN115187772A (zh) 目标检测网络的训练及目标检测方法、装置及设备
Tahir et al. Wildfire detection in aerial images using deep learning
CN115019209A (zh) 一种基于深度学习的电力杆塔状态检测的方法及系统
CN112270246A (zh) 视频行为识别方法及装置、存储介质、电子设备
CN114422848A (zh) 视频分割方法、装置、电子设备及存储介质
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN109960745A (zh) 视频分类处理方法及装置、存储介质和电子设备
CN116959099B (zh) 一种基于时空图卷积神经网络的异常行为识别方法
Roy et al. AWDMC-Net: classification of adversarial weather degraded multiclass scenes using a convolution neural network
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
Guo et al. Design of a smart art classroom system based on Internet of Things
Whytock et al. High performance machine learning models can fully automate labeling of camera trap images for ecological analyses
CN114494971A (zh) 视频涉黄检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant