CN116797968A - 多方法融合的暴恐事件检测警报方法、系统及相关设备 - Google Patents

多方法融合的暴恐事件检测警报方法、系统及相关设备 Download PDF

Info

Publication number
CN116797968A
CN116797968A CN202310610610.2A CN202310610610A CN116797968A CN 116797968 A CN116797968 A CN 116797968A CN 202310610610 A CN202310610610 A CN 202310610610A CN 116797968 A CN116797968 A CN 116797968A
Authority
CN
China
Prior art keywords
detection
image
filtering
preset
alarm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310610610.2A
Other languages
English (en)
Inventor
武大硕
闫潇宁
郑双午
许能华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Original Assignee
Shenzhen Anruan Huishi Technology Co ltd
Shenzhen Anruan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Anruan Huishi Technology Co ltd, Shenzhen Anruan Technology Co Ltd filed Critical Shenzhen Anruan Huishi Technology Co ltd
Priority to CN202310610610.2A priority Critical patent/CN116797968A/zh
Publication of CN116797968A publication Critical patent/CN116797968A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)

Abstract

本发明适用于人工智能技术应用领域，提供了一种多方法融合的暴恐事件检测警报方法、系统及相关设备，所述方法包括通过信息采集设备获取目标的数据集，对所述数据集进行数据预处理，并得到所述目标的训练图像；使用预设神经网络模型训练，得到对应所述目标的检测模型；通过所述检测模型对待检测图像进行检测，得到检测结果；根据所述检测结果结合预设过滤方法对所述检测结果进行过滤，得到判断结果；决定警报处理。相对于现有技术，本发明对暴力恐怖事件检测效果良好，且适用范围广，可以适用于各种场景下的暴恐事件检测，具有实时性好、检测结果精准，且能精准检测到目标位置。

Description

多方法融合的暴恐事件检测警报方法、系统及相关设备
技术领域
本发明属于人工智能技术应用领域，尤其涉及一种多方法融合的暴恐事件检测警报方法、系统及相关设备。
背景技术
随着社会的进步与发展，各种摄像设备已经在我们的生活中得到了普及。为了加强城市、社区、轨道交通等工作的建设，从边缘监控设备获得的监控图像数据中快速得到有价值的信息，对于城市安防管理、工厂园区安防管理、校园安防管理等来说尤为重要。包括目标检测、图像分类和图像分割等基于图像的各种下游任务是近年来深度学习新兴领域，这种基于深度学习的各种落地应用大大方便了各种工作展开，在安防方面，可以实现系统自动化识别并发出警报，有利于工作人员对监控视频开展分析工作。
但是，现有技术中，暴恐事件检测要么使用传统方法进行特征比对，要么使用图像分类方式，因判断维度相对单一，错误判别率相对较高，使得自动判别的准确度不能满足要求，这对进行暴恐事件检测所要求的精度有一定差距。迫切需要一种结合深度学习目标检测技术、传统方法以及声音的多方法融合的检测报警方法、系统及相关设备。
发明内容
本发明提供多方法融合的暴恐事件检测警报方法、系统及相关设备，旨在通过多方法融合解决暴恐事件检测精度低的问题。
第一方面，本发明提供多方法融合的暴恐事件检测警报方法，包括以下步骤：
获取包含不同检测目标的数据集，并对所述数据集进行数据预处理，得到对应所述检测目标的训练图像；所述训练图像中标记有坐标信息的标记框；其中，所述数据集包括视频和图像；
将所述训练图像和对应的所述坐标信息作为预设神经网络模型的输入，并对所述预设神经网络模型进行训练，得到对应所述检测目标的检测模型；
通过所述检测模型对待检测图像进行检测，并经过损失函数以及非极大值抑制处理，得到所述待检测图像对应的检测结果，所述检测结果为所述待检测图像中对应所述检测目标的位置信息、类别信息以及置信度；
根据所述检测结果结合预设过滤方法对所述检测结果进行过滤，得到判断结果，所述预设过滤方法包括HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种；
根据所述判断结果结合预设警报策略进行警报处理。
优选的，对所述数据集进行数据预处理具体包括：判断所述数据集的类型，当所述数据集类型为视频时，则按照视频帧率对视频进行逐帧转换为图像；读取所述数据集中的任意N张图像并对N张所述图像进行旋转、缩放、色域变化处理，按照预设方位将N张所述图像进行组合拼接，以得到所述检测目标的组合图像，作为所述训练图像；其中，N为大于1的自然数。
优选的，对所述数据集中的任意N张图像进行缩放时，对于需要缩小的图像，根据计算得到的缩放比例、缩放尺寸以及黑边填充数值对缩小的所述组合图像进行插值、黑边填充，进而得到所述训练图像；对于需要放大的图像，使用双线性插值法对放大的所述组合图像进行处理，进而得到所述训练图像。
优选的，所述预设神经网络模型包括Focus结构、CSP结构、SPP结构以及FPN+PAN结构具体的：所述Focus结构将所述训练图像依次进行每隔一像素的切片处理、再将切片处理后得到的结果进行拼接处理、卷积处理、批归一化处理和激活函数激活处理，得到第一特征；所述CSP结构对所述第一特征进行处理，得到第二特征；其中，所述CSP结构包括不同种类的残差网络结构；所述SPP结构对所述第二特征中的特征进行多尺度最大池化，再进行拼接，得到第三特征；其中，所述SPP结构包括三组不同的池化操作；所述FPN+PAN结构中所述FPN结构用于将高层的特征信息通过上采样的方式进行传递融合，对所述第三特征进行增强，以适应不同尺度缩放的目标检测；所述PAN结构通过下采样的方式将所述FPN结构中的每一层输出结构进行融合得到对应的第一向量图，所述第一向量图包含待检测图像的位置信息、类别信息以及置信度。
优选的，所述检测目标包括暴恐道具、火焰、烟雾、人中的一种或多种。
优选的，所述检测结果为所述火焰或所述烟雾时，则采用所述HSI或所述HSV颜色空间过滤结合所述均值方差过滤进行过滤；所述检测结果为所述暴恐道具以及所述人时，则采用所述交并比判别结合所述声音判别进行过滤。
优选的，所述预设警报策略在预设时间阈值内连续检测出超出预设次数阈值的所述检测目标，则进行警报处理。
第二方面，本发明还提供一种多方法融合的暴恐事件检测警报系统，包括：
数据预处理模块，获取包含不同检测目标的数据集，并对所述数据集进行数据预处理，得到对应所述检测目标的训练图像；所述训练图像中标记有坐标信息的标记框；其中，所述数据集包括视频和图像；
神经网络模型训练模块，将所述训练图像和对应的所述坐标信息作为预设神经网络模型的输入，并对所述预设神经网络模型进行训练，得到对应所述检测目标的检测模型；
检测模块，通过所述检测模型对待检测图像进行检测，并经过损失函数以及非极大值抑制处理，得到所述待检测目标对应的检测结果，所述检测结果为所述待检测图像中对应所述检测目标的位置信息、类别信息以及置信度；
过滤模块，根据所述检测结果结合预设过滤方法对所述检测结果进行过滤，得到判断结果，所述预设过滤方法包括HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种；
警报模块，根据所述判断结果结合预设警报策略进行警报处理。
第三方面，本发明还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施例中任意一项所述的多方法融合的暴恐事件检测警报方法中的步骤。
第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中任意一项所述的多方法融合的暴恐事件检测警报方法中的步骤。
本发明所达到的有益效果，在于对暴力恐怖事件检测效果良好，且适用范围广，可以适用于各种场景下的暴恐事件检测，具有实时性好、检测结果精准，且能精准检测到目标位置。此外整个系统基于深度学习算法、传统算法和声音判别多模式融合，使三者优点互补，弥补了各自的短板，实际场景下效果良好且比其他方法警报实时性高、结果精准。
附图说明
图1是本发明实施例提供的多方法融合的暴恐事件检测警报方法的流程框图；
图2是本发明实施例提供的多方法融合的暴恐事件检测警报方法的预设神经网络模型流程图；
图3是本发明实施例提供的多方法融合的暴恐事件检测警报方法的预设神经网络模型的FPN+PAN结构示意图；
图4是本发明实施例提供的多方法融合的暴恐事件检测警报方法中预设神经网络模型的检测结构流程示意图；
图5是本发明实施例提供的多方法融合的暴恐事件检测警报系统示意图；
图6是本发明实施例提供的多方法融合的暴恐事件检测警报计算机设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
(实施例一)
请参照图1，图1是本发明实施例提供的多方法融合的暴恐事件检测警报方法的流程框图，具体包括以下步骤：
S101、获取包含不同检测目标的数据集，并对所述数据集进行数据预处理，得到对应所述检测目标的训练图像；所述训练图像中标记有坐标信息的标记框；其中，所述数据集包括视频和图像；
在本发明实施例中，获取包含不同检测目标的数据集的信息采集设备可以是具有摄像、抓拍、采集声音和数据传输功能的智能摄像头，所述检测目标可以是管制刀具、枪支、火焰、烟雾以及人中的一种或多种，所述信息采集设备可多个布设在如城市、工厂园区以及校园区域。当所述信息采集设备获取到所述数据集后，对所述数据集进行数据预处理，所述数据预处理的过程包括：判断所述数据集类型，当所述数据集类型为视频时，则按照视频帧率对视频进行逐帧转换为图像类型；示例性的，读取所述数据集中的四张图像，读取的图像数目可任意设定，此处仅为示例。并对所述四张图像进行旋转、缩放、色域变化，按照预设方位或随机方位将所述四张图像进行组合拼接，以得到所述检测目标的组合图像，重复此项操作，可得到不同所述检测目标的不同所述组合图像。并且当图像缩放时，对于需要缩小的图像，根据计算得到的缩放比例、缩放尺寸以及黑边填充数值对缩小的所述组合图像进行插值、黑边填充，进而得到所述训练图像；对于需要放大的图像，使用双线性插值法对放大的所述组合图像进行处理，进而得到所述训练图像。所述训练图像中带有所述目标的位置会用标记框进行标记，所述标记框具有所述目标对应于所述训练图像位置的坐标信息。
S102、将所述训练图像和对应的所述坐标信息作为预设神经网络模型的输入，并对所述预设神经网络模型进行训练，得到对应所述检测目标的检测模型；
请参照图2和3，图2是本发明实施例提供的多方法融合的暴恐事件检测警报方法的预设神经网络模型流程图；图3是本发明实施例提供的多方法融合的暴恐事件检测警报方法的预设神经网络模型的FPN+PAN结构示意图。所述预设神经网络模型流程包括以下步骤：
201、输入训练图像；
202、经过Focus结构处理，得到所述训练图像的第一特征；
203、将所述第一特征经过多个CSP结构组成的网络进行处理，得到第二特征；
204、将所述第二特征经过SPP结构进行处理，得到第三特征；
205、将所述第三特征经过FPN+PAN结构进行处理，得到第一向量图；
206、输出第一向量图。
具体的，以标记有所述标记框的所述训练图像作为输入，经过所述Focus结构(焦点结构)进行处理，得到第一特征，所述Focus结构依次进行切片操作处理、拼接处理、卷积处理、批归一化处理和激活函数激活，所述切片操作用于将原本大小的所述训练图像进行切片，示例性的，以600x600x3的图像经过所述Focus结构进行处理，先由所述切片操作将图像切片成300x300x12的切片图像，进行拼接后进行卷积操作，并通过批归一化和激活函数激活，最终得到3000x300x32的输出，将该输出作为第一特征。
所述第一特征经过若干所述CSP结构(Center and Scale Prediction，中心与尺度预测结构)进行处理，得到第二特征，所述CSP结构包括了一系列的不同种类的残差网络结构，可根据实际需要设定网络结构的深度与宽度。
所述第二特征经过所述SPP结构(Spatial Pyramid Pooling，空间金字塔池化结构)进行处理，所述SPP结构对所述第二特征中的特征进行多尺度最大池化，再进行拼接，得到第三特征，其中所述SPP包括三组不同的池化操作。
将所述第三特征作为输入经过所述FPN+PAN结构(Feature Pyramid Networks+Perceptual Adversarial Network，特征金字塔结构+感知对抗网络结构)进行处理。具体的，所述FPN结构用于将高层的特征信息通过上采样的方式进行传递融合，对所述第三特征进行增强，以适应不同尺度缩放的目标检测，传达了强语义特征；所述PAN结构通过下采样的方式将所述FPN结构中的每一层输出结构进行融合，自底向上传达强定位特征，得到对应的目标图像向量，从而最终得到第一向量图，所述第一向量图包含待检测图像的位置信息、类别信息以及置信度，具体包括4个位置坐标、1个类别和1个置信度，上述位置坐标、类别、置信度分别被3个坐标框所包括。
将不同所述检测目标的所述训练图像作为输入进行训练，得到对应的所述检测目标的所述检测模型。
S103、通过所述检测模型对待检测图像进行检测，并经过损失函数以及非极大值抑制处理，得到所述待检测图像对应的检测结果，所述检测结果为所述待检测图像中对应所述检测目标的位置信息、类别信息以及置信度；
请参照图4，图4是本发明实施例提供的多方法融合的暴恐事件检测警报方法中预设神经网络模型的检测结构流程示意图，所述检测过程包括以下步骤：
301、输入第一向量图；
302、损失函数；
303、非极大值抑制；
304、输出检测结果。
具体的，所述第一向量图经过损失函数处理后，进行非极大值抑制，非极大值抑制用于过滤掉所述第一向量图中一些重合面积较大、置信度较低的坐标框，直到得到一个置信度最高的坐标框，即目标框，将所述目标框以及其中包含的位置信息作为最终的检测结果。示例性的，在所述检测结果的表现形式上，一张具有火焰图像的所述待检测图像中，火焰信息部分会被所述目标框标记出来。
S104、根据所述检测结果结合预设过滤方法对所述检测结果进行过滤，得到判断结果，所述预设过滤方法包括HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种；
在本发明实施例中，所述检测结果通过预设过滤方法进行过滤，且不同所述检测结果均有使用不同的过滤方法，所述过滤方法包括使用HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种。示例性的，对于火焰、烟雾目标，先根据所述火焰的所述目标框把所述火焰的图从检测图像上选取下来，然后对其进行颜色检查，基于预设的阈值，使用现有技术中常用的HSI(Hue Saturation Intensity)或HSV(HueSaturation Value)颜色空间方法进行过滤，对非火焰颜色动态范围内的目标进行过滤。其中H表示颜色的波长，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或者亮度，V表示色明度。然后对其进行运动检测，根据所述火焰的频闪特征，基于预设的阈值，过滤掉不具有火焰频闪特征的目标。还有均值方差过滤法，首先计算所述目标框内每个像素的均值，再计算每个像素与均值的方差，如果所述目标框内像素的总方差和大于预设的阈值(阈值需要根据不同场景预设)，则视为不是火焰。
而对于如枪支以及管制刀具目标，则是结合人形目标，对二者进行所述目标框的交并比判别，即两个所述目标框的相交区域占相并区域的比值，若交并比大于设定阈值，则视为人员持刀持枪。然后，结合通过所述信息采集设备采集到的声音，如经过声纹比对近似于如枪声、喊闹声、打砸抢烧的声音进行判别。这种多方法融合的方式增加了检测暴恐事件的置信度以及可靠性，方便及时警报。
S105、根据所述判断结果结合预设警报策略进行警报处理。
在本发明实施例中，当所述判断结果为检测图像中存在所述检测目标时，则发出警报。另外，所述警报策略可设定时间阈值和次数阈值，例如对于某一单一智能摄像头在某一设定时间阈值(或设定帧数阈值)内连续检测出超出设定次数阈值的目标或者事件，则进行警报处理。
与现有技术相比，本发明对暴力恐怖事件检测效果良好，且适用范围广，可以适用于各种场景下的暴恐事件检测，具有实时性好、检测结果精准，且能精准检测到目标位置。此外整个系统基于深度学习算法、传统算法和声音判别多模式融合，使三者优点互补，弥补了各自的短板，实际场景下效果良好且比其他方法警报实时性高、结果精准。
(实施例二)
本发明实施例还提供一种多方法融合的暴恐事件检测警报系统，请参照图5，图5是本发明实施例提供的多方法融合的暴恐事件检测警报系统500的结构示意图，其包括：
数据预处理模块501、获取包含不同检测目标的数据集，并对所述数据集进行数据预处理，得到对应所述检测目标的训练图像；所述训练图像中标记有坐标信息的标记框；其中，所述数据集包括视频和图像；
在本发明实施例中，获取包含不同检测目标的数据集的信息采集设备可以是具有摄像、抓拍、采集声音和数据传输功能的智能摄像头，所述检测目标可以是管制刀具、枪支、火焰、烟雾以及人中的一种或多种，所述信息采集设备可多个布设在如城市、工厂园区以及校园区域。当所述信息采集设备获取到所述数据集后，对所述数据集进行数据预处理，所述数据预处理的过程包括：判断所述数据集类型，当所述数据集类型为视频时，则按照视频帧率对视频进行逐帧转换为图像类型；示例性的，读取所述数据集中的四张图像，读取的图像数目可任意设定，此处仅为示例。并对所述四张图像进行旋转、缩放、色域变化，按照预设方位或随机方位将所述四张图像进行组合拼接，以得到所述检测目标的组合图像，重复此项操作，可得到不同所述检测目标的不同所述组合图像。并且当图像缩放时，对于需要缩小的图像，根据计算得到的缩放比例、缩放尺寸以及黑边填充数值对缩小的所述组合图像进行插值、黑边填充，进而得到所述训练图像；对于需要放大的图像，使用双线性插值法对放大的所述组合图像进行处理，进而得到所述训练图像。所述训练图像中带有所述检测目标的位置会用标记框进行标记，所述标记框具有所述目标对应于所述训练图像位置的坐标信息。
神经网络模型训练模块502、将所述训练图像和对应的所述坐标信息作为预设神经网络模型的输入，并对所述预设神经网络模型进行训练，得到对应所述检测目标的检测模型；
请参照图2和3，图2是本发明实施例提供的多方法融合的暴恐事件检测警报方法的预设神经网络模型流程图；图3是本发明实施例提供的多方法融合的暴恐事件检测警报方法的预设神经网络模型的FPN+PAN结构示意图。所述预设神经网络模型流程包括以下步骤：
201、输入训练图像；
202、经过Focus结构处理，得到所述训练图像的第一特征；
203、将所述第一特征经过多个CSP结构组成的网络进行处理，得到第二特征；
204、将所述第二特征经过SPP结构进行处理，得到第三特征；
205、将所述第三特征经过FPN+PAN结构进行处理，得到第一向量图；
206、输出第一向量图。
具体的，以标记有所述标记框的所述训练图像作为输入，经过所述Focus结构(焦点结构)进行处理，得到第一特征，所述Focus结构依次进行切片操作处理、拼接处理、卷积处理、批归一化处理和激活函数激活，所述切片操作用于将原本大小的所述训练图像进行切片，示例性的，以600x600x3的图像经过所述Focus结构进行处理，先由所述切片操作将图像切片成300x300x12的切片图像，进行拼接后进行卷积操作，并通过批归一化和激活函数激活，最终得到3000x300x32的输出，将该输出作为第一特征。
所述第一特征经过若干所述CSP结构(Center and Scale Prediction，中心与尺度预测结构)进行处理，得到第二特征，所述CSP结构包括了一系列的不同种类的残差网络结构，可根据实际需要设定网络结构的深度与宽度。
所述第二特征经过所述SPP结构(Spatial Pyramid Pooling，空间金字塔池化结构)进行处理，所述SPP结构对所述第二特征中的特征进行多尺度最大池化，再进行拼接，得到第三特征，其中所述SPP包括三组不同的池化操作。
将所述第三特征作为输入经过所述FPN+PAN结构(Feature Pyramid Networks+Perceptual Adversarial Network，特征金字塔结构+感知对抗网络结构)进行处理。具体的，所述FPN结构用于将高层的特征信息通过上采样的方式进行传递融合，对所述第三特征进行增强，以适应不同尺度缩放的目标检测，传达了强语义特征；所述PAN结构通过下采样的方式将所述FPN结构中的每一层输出结构进行融合，自底向上传达强定位特征，得到对应的目标图像向量，从而最终得到第一向量图，所述第一向量图包含待检测图像的位置信息、类别信息以及置信度，具体包括4个位置坐标、1个类别和1个置信度，上述位置坐标、类别、置信度分别被3个坐标框所包括。
将不同所述检测目标的所述训练图像作为输入进行训练，得到对应的所述检测目标的所述检测模型。
检测模块503、通过所述检测模型对待检测图像进行检测，并经过损失函数以及非极大值抑制处理，得到所述待检测图像对应的检测结果，所述检测结果为所述待检测图像中对应所述检测目标的位置信息、类别信息以及置信度；
请参照图4，图4是本发明实施例提供的多方法融合的暴恐事件检测警报方法中预设神经网络模型的检测结构流程示意图，所述检测过程包括以下步骤：
301、输入第一向量图；
302、损失函数；
303、非极大值抑制；
304、输出检测结果。
具体的，所述第一向量图经过损失函数处理后，进行非极大值抑制，非极大值抑制用于过滤掉所述第一向量图中一些重合面积较大、置信度较低的坐标框，直到得到一个置信度最高的坐标框，即目标框，将所述目标框以及其中包含的位置信息作为最终的检测结果。示例性的，在所述检测结果的表现形式上，一张具有火焰图像的所述待检测图像中，火焰信息部分会被所述目标框标记出来。
过滤模块504、根据所述检测结果结合预设过滤方法对所述检测结果进行过滤，得到判断结果，所述预设过滤方法包括HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种；
在本发明实施例中，所述检测结果通过预设过滤方法进行过滤，且不同所述检测结果均有使用不同的过滤方法，所述过滤方法包括HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种。示例性的，对于火焰、烟雾目标，先根据所述火焰的所述目标框把所述火焰的图从检测图像上选取下来，然后对其进行颜色检查，基于预设的阈值，使用现有技术中常用的HSI(Hue Saturation Intensity)或HSV(HueSaturation Value)颜色空间方法进行过滤，对非火焰颜色动态范围内的目标进行过滤。其中H表示颜色的波长，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或者亮度，V表示色明度。然后对其进行运动检测，根据所述火焰的频闪特征，基于预设的阈值，过滤掉不具有火焰频闪特征的目标。还有均值方差过滤，首先计算所述目标框内每个像素的均值，再计算每个像素与均值的方差，如果所述目标框内像素的总方差和大于预设的阈值(阈值需要根据不同场景预设)，则视为不是火焰。
而对于如枪支以及管制刀具目标，则是结合人形目标，对二者进行所述目标框的交并比判别，即两个所述目标框的相交区域占相并区域的比值，若交并比大于设定阈值，则视为人员持刀持枪。然后，结合通过所述信息采集设备采集到的声音，如经过声纹比对近似于如枪声、喊闹声、打砸抢烧的声音进行判别。这种多方法融合的方式增加了暴恐事件的置信度以及可靠性，方便及时警报。
警报模块505、根据所述判断结果结合预设警报策略进行警报处理。
在本发明实施例中，当所述判断结果为检测图像中存在所述检测目标时，则发出警报。另外，所述警报策略可设定时间阈值和次数阈值，例如对于某一单一智能摄像头在某一设定时间阈值(或设定帧数阈值)内连续检测出超出设定次数阈值的目标或者事件，则在相应的设备中发出警报。
所述系统500能够实现如上述实施例中的多方法融合的暴恐事件检测警报方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
(实施例三)
本发明实施例还提供一种计算机设备，请参照图6，图6是本发明实施例提供的计算机设备的结构示意图，所述计算机设备600包括：存储器602、处理器601及存储在所述存储器602上并可在所述处理器601上运行的计算机程序。
所述处理器601调用所述存储器602存储的计算机程序，执行本发明实施例提供的多方法融合的暴恐事件检测警报方法中的步骤，请结合图6，具体包括以下步骤：
S101、获取包含不同检测目标的数据集，并对所述数据集进行数据预处理，得到对应所述检测目标的训练图像；所述训练图像中标记有坐标信息的标记框；其中，所述数据集包括视频和图像；
S102、将所述训练图像和对应的所述坐标信息作为预设神经网络模型的输入，并对所述预设神经网络模型进行训练，得到对应所述检测目标的检测模型；
S103、通过所述检测模型对待检测图像进行检测，并经过损失函数以及非极大值抑制处理，得到所述待检测图像对应的检测结果，所述检测结果为所述待检测图像中对应所述检测目标的位置信息、类别信息以及置信度；
S104、根据所述检测结果结合预设过滤方法对所述检测结果进行过滤，得到判断结果，所述预设过滤方法包括HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种；
S105、根据所述判断结果结合预设警报策略进行警报处理。
本发明实施例提供的计算机设备600能够实现如上述实施例中的多方法融合的暴恐事件检测警报方法中的步骤，且能实现同样的技术效果，参上述实施例中的描述，此处不再赘述。
(实施例四)
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的多方法融合的暴恐事件检测警报方法中的各个过程及步骤，且能实现相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。

Claims (10)

1.一种多方法融合的暴恐事件检测警报方法，其特征在于，包括以下步骤：
获取包含不同检测目标的数据集，并对所述数据集进行数据预处理，得到对应所述检测目标的训练图像；所述训练图像中标记有坐标信息的标记框；其中，所述数据集包括视频和图像；
将所述训练图像和对应的所述坐标信息作为预设神经网络模型的输入，并对所述预设神经网络模型进行训练，得到对应所述检测目标的检测模型；
通过所述检测模型对待检测图像进行检测，并经过损失函数以及非极大值抑制处理，得到所述待检测图像对应的检测结果，所述检测结果包括所述待检测图像中对应所述检测目标的位置信息、类别信息以及置信度；
根据所述检测结果结合预设过滤方法对所述检测结果进行过滤，得到判断结果，所述预设过滤方法包括HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种；
根据所述判断结果结合预设警报策略进行警报处理。
2.如权利要求1所述的多方法融合的暴恐事件检测警报方法，其特征在于，对所述数据集进行数据预处理具体包括：
判断所述数据集的类型，当所述数据集类型为视频时，则按照视频帧率对视频进行逐帧转换为图像；
读取所述数据集中的任意N张图像并对N张所述图像进行旋转、缩放、色域变化处理，按照预设方位将N张所述图像进行组合拼接，以得到所述检测目标的组合图像，作为所述训练图像；其中，N为大于1的自然数。
3.如权利要求2所述的多方法融合的暴恐事件检测警报方法，其特征在于，对所述数据集中的任意N张图像进行缩放时，对于需要缩小的图像，根据计算得到的缩放比例、缩放尺寸以及黑边填充数值对缩小的所述组合图像进行插值、黑边填充，进而得到所述训练图像；对于需要放大的图像，使用双线性插值法对放大的所述组合图像进行处理，进而得到所述训练图像。
4.如权利要求1所述的多方法融合的暴恐事件检测警报方法，其特征在于，所述预设神经网络模型包括Focus结构、CSP结构、SPP结构以及FPN+PAN结构具体的：
所述Focus结构将所述训练图像依次进行每隔一像素的切片处理、再将切片处理后得到的结果进行拼接处理、卷积处理、批归一化处理和激活函数激活处理，得到第一特征；
所述CSP结构对所述第一特征进行处理，得到第二特征；其中，所述CSP结构包括不同种类的残差网络结构；
所述SPP结构对所述第二特征中的特征进行多尺度最大池化，再进行拼接，得到第三特征；其中，所述SPP结构包括三组不同的池化操作；
所述FPN+PAN结构中所述FPN结构用于将高层的特征信息通过上采样的方式进行传递融合，对所述第三特征进行增强，以适应不同尺度缩放的目标检测；所述PAN结构通过下采样的方式将所述FPN结构中的每一层输出结构进行融合得到对应的第一向量图，所述第一向量图包含待检测图像的位置信息、类别信息以及置信度。
5.如权利要求1所述的多方法融合的暴恐事件检测警报方法，其特征在于，所述检测目标包括暴恐道具、火焰、烟雾、人中的一种或多种。
6.如权利要求5所述的多方法融合的暴恐事件检测警报方法，其特征在于，所述检测结果为所述火焰或所述烟雾时，则采用所述HSI或所述HSV颜色空间过滤结合所述均值方差过滤进行过滤；所述检测结果为所述暴恐道具以及所述人时，则采用所述交并比判别结合所述声音判别进行过滤。
7.如权利要求1所述的多方法融合的暴恐事件检测警报方法，其特征在于，所述预设警报策略在预设时间阈值内连续检测出超出预设次数阈值的所述检测目标，则进行警报处理。
8.一种多方法融合的暴恐事件检测警报系统，其特征在于，所述多方法融合的暴恐事件检测警报系统包括：
数据预处理模块，获取包含不同检测目标的数据集，并对所述数据集进行数据预处理，得到对应所述检测目标的训练图像；所述训练图像中标记有坐标信息的标记框；其中，所述数据集包括视频和图像；
神经网络模型训练模块，将所述训练图像和对应的所述坐标信息作为预设神经网络模型的输入，并对所述预设神经网络模型进行训练，得到对应所述检测目标的检测模型；
检测模块，通过所述检测模型对待检测图像进行检测，并经过损失函数以及非极大值抑制处理，得到所述待检测目标对应的检测结果，所述检测结果为所述待检测图像中对应所述检测目标的位置信息、类别信息以及置信度；
过滤模块，根据所述检测结果结合预设过滤方法对所述检测结果进行过滤，得到判断结果，所述预设过滤方法包括HSI或HSV颜色空间进行过滤、均值方差过滤、交并比判别以及声音判别中的一种或多种；
警报模块，根据所述判断结果结合预设警报策略进行警报处理。
9.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的多方法融合的暴恐事件检测警报方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的多方法融合的暴恐事件检测警报方法中的步骤。
CN202310610610.2A 2023-05-25 2023-05-25 多方法融合的暴恐事件检测警报方法、系统及相关设备 Pending CN116797968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310610610.2A CN116797968A (zh) 2023-05-25 2023-05-25 多方法融合的暴恐事件检测警报方法、系统及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310610610.2A CN116797968A (zh) 2023-05-25 2023-05-25 多方法融合的暴恐事件检测警报方法、系统及相关设备

Publications (1)

Publication Number Publication Date
CN116797968A true CN116797968A (zh) 2023-09-22

Family

ID=88033617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310610610.2A Pending CN116797968A (zh) 2023-05-25 2023-05-25 多方法融合的暴恐事件检测警报方法、系统及相关设备

Country Status (1)

Country Link
CN (1) CN116797968A (zh)

Similar Documents

Publication Publication Date Title
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
CN113033553B (zh) 多模式融合的火灾检测方法、装置、相关设备及存储介质
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN111814753A (zh) 针对雾天条件下的目标检测方法和装置
CN115004269B (zh) 监视装置、监视方法及程序
EP2124194B1 (en) Method of detecting objects
CN115457428A (zh) 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN114241386A (zh) 一种基于实时视频流的输电线路隐患检测与识别的方法
Li et al. Image manipulation localization using attentional cross-domain CNN features
CN114359733A (zh) 一种基于视觉的烟雾火情的检测方法及系统
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN111260687A (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN116797968A (zh) 多方法融合的暴恐事件检测警报方法、系统及相关设备
CN116259042A (zh) 基于图注意力的环视图像停车位检测方法及装置
CN116311218A (zh) 基于自注意力特征融合的带噪植株点云语义分割方法及系统
CN113628251B (zh) 一种智慧酒店终端监测方法
CN115205793A (zh) 基于深度学习二次确认的电力机房烟雾检测方法及装置
CN112380986B (zh) 抗复杂街道背景干扰的车型检测方法、系统及存储介质
CN114937302A (zh) 一种抽烟识别方法、装置、设备及计算机可读存储介质
CN108573492B (zh) 一种实时雷达探测区域检测方法
CN112927231B (zh) 车身污垢检测模型的训练方法、车身污垢检测方法及装置
CN113902739B (zh) Nut线夹缺陷识别方法、装置及设备、可读存储介质
Jiang et al. UAV-FDN: Forest-fire detection network for unmanned aerial vehicle perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination